OpenAI o3 nie jest jeszcze AGI, ale właśnie zrobiło coś, czego nie zrobiła żadna inna sztuczna inteligencja

Nowy model AI „robi coś zupełnie innego niż seria GPT”.

Sam Altman i zastępcy OpenAI omawiają wydajność nowego modelu o3 w teście ARC-AGI.

Najnowszy model dużego języka OpenAI nie jest jeszcze dostępny, ale mamy już pewne sposoby, aby określić, co może, a czego nie.

Wersja „o3” OpenAI została zaprezentowana 20 grudnia w formie reklamy wideo, co oznacza, że większość osób spoza firmy nie ma pojęcia, do czego tak naprawdę jest zdolna. (Zewnętrzne grupy testujące bezpieczeństwo mają wcześniejszy dostęp.)

Chociaż film zawierał wiele dyskusji na temat różnych osiągnięć w benchmarkach, wiadomość od współzałożyciela i dyrektora generalnego OpenAI Sama Altmana zawarta w filmie była bardzo krótka. Jego największym stwierdzeniem, choć niejasnym, było to, że o3 „to niezwykle inteligentny model”.

ARC-AGI wystawiło o3 na próbę

OpenAI planuje wypuścić „mini” wersję o3 pod koniec stycznia, a wersję pełną jakiś czas później, powiedział Altman.

Jednakże jedna osoba z zewnątrz miała okazję w pewnym sensie przetestować o3.

Test w tym przypadku nosi nazwę „Korpusu Abstrakcji i Rozumowania dla Sztucznej Inteligencji Ogólnej” (ARC-AGI). Jest to zbiór „wyzwań dla inteligentnych systemów”, nowy punkt odniesienia. ARC-AGI jest reklamowany jako „jedyny punkt odniesienia zaprojektowany specjalnie do pomiaru zdolności adaptacji do nowości”. Oznacza to, że ma sprawdzić nabywanie nowych umiejętności, a nie tylko wykorzystanie zapamiętanej wiedzy.

AGI, czyli sztuczna inteligencja ogólna, jest uważana przez niektórych w dziedzinie sztucznej inteligencji za Świętego Graala - osiągnięcie poziomu inteligencji maszynowej, który może równać się inteligencji ludzkiej lub przewyższać ją. Ideą ARC-AGI jest poprowadzenie sztucznej inteligencji w kierunku „bardziej inteligentnych i bardziej ludzkich sztucznych systemów”.

Model o3 uzyskał 76% dokładności w teście ARC-AGI w ocenie formalnie koordynowanej przez OpenAI i autora ARC-AGI, François Cholleta, naukowca z jednostki sztucznej inteligencji Google.

Zmiana możliwości AI

W zeszłym tygodniu na stronie internetowej ARC-AGI Chollet napisał, że wynik 76% to pierwszy raz, kiedy sztuczna inteligencja pobiła na egzaminie wynik ludzki, czego przykładem są odpowiedzi pracowników Mechanical Turk, którzy przystąpili do testu i którzy: średnio uzyskał nieco ponad 75% poprawnych wyników.

François Chollet, wynalazca ARC-AGI, twierdzi, że ilość aktywności związanej z o3 sugeruje, że wykorzystuje ona zupełnie inną architekturę niż jego poprzednicy GPT-4.

Chollet napisał, że wysoki wynik to „zaskakujący i ważny wzrost możliwości sztucznej inteligencji o funkcję skokową, pokazujący nowatorską zdolność dostosowywania zadań, jakiej nigdy wcześniej nie widziano w modelach z rodziny GPT”. Dodał: „Wszelka intuicja dotycząca możliwości sztucznej inteligencji będzie musiała zostać zaktualizowana na potrzeby o3”.

To osiągnięcie oznacza „prawdziwy przełom” i „jakościową zmianę w możliwościach sztucznej inteligencji” - oznajmił Chollet. Chollet przewiduje, że zdolność o3 do „przystosowania się do zadań, z którymi nigdy wcześniej się nie spotkała” oznacza, że „należy zaplanować, aby te możliwości stały się konkurencyjne w stosunku do pracy człowieka w dość krótkim czasie”.

Uwagi Cholleta są godne uwagi, ponieważ nigdy nie był cheerleaderem sztucznej inteligencji. W 2019 roku, kiedy tworzył ARC-AGI, powiedział mi w wywiadzie dla ZDNET, że ciągły napływ „bombastycznych artykułów prasowych” od firm zajmujących się sztuczną inteligencją „w mylący sposób sugeruje, że sztuczna inteligencja na poziomie ludzkim pojawi się być może za kilka lat”, podczas gdy uważał taką hiperbolę za „iluzję”.

Pytania ARC-AGI są łatwe do zrozumienia i dość łatwe do rozwiązania. Każde wyzwanie przedstawia od trzech do pięciu przykładów pytania i prawidłowej odpowiedzi, a następnie osobie zdającej zostaje zaprezentowane podobne pytanie i proszone o uzupełnienie brakującej odpowiedzi.

Podstawową formą ARC-AGI jest posiadanie od trzech do pięciu przykładów danych wejściowych i wyjściowych, które reprezentują pytanie i odpowiedź, a następnie końcowy przykład danych wejściowych, na który należy podać odpowiedź poprzez zapewnienie odpowiedniego obrazu wyjściowego. Człowiekowi dość łatwo jest określić, jaki obraz ma powstać, dotykając kolorowych pikseli, nawet jeśli nie jest w stanie sformułować reguły jako takiej.

Pytania nie mają charakteru tekstowego, lecz składają się z obrazków. Najpierw pokazana jest siatka pikseli z kolorowymi kształtami, a następnie druga wersja, która została w jakiś sposób zmieniona. Pytanie brzmi: jaka jest zasada, która zmienia obraz początkowy w obraz drugi?

Innymi słowy, wyzwanie nie opiera się bezpośrednio na języku naturalnym, słynnym obszarze dużych modeli językowych. Zamiast tego testuje formułowanie abstrakcyjnych wzorów w domenie wizualnej.

Wypróbuj ARC-AGI dla siebie

Możesz wypróbować ARC-AGI na stronie internetowej wyzwań Cholleta. Odpowiadasz na wyzwanie, „rysując” pustą siatkę, wypełniając każdy piksel odpowiednim kolorem, aby utworzyć prawidłową siatkę kolorowych pikseli jako „odpowiedź”.

To fajna zabawa, trochę jak gra w Sudoku lub Tetris. Jest szansa, że nawet jeśli nie potrafisz werbalnie wyrazić, jaka jest zasada, dość szybko zorientujesz się, które pola należy pokolorować, aby uzyskać rozwiązanie. Najbardziej czasochłonną częścią jest dotknięcie każdego piksela siatki w celu przypisania mu koloru.

Prawidłowa odpowiedź powoduje wyświetlenie animacji rzucania konfetti na stronie internetowej i komunikat: „Rozwiązałeś codzienną łamigłówkę ARC Prize. Nadal jesteś (ogólnie) inteligentniejszy niż sztuczna inteligencja”.

Pamiętaj, że gdy o3 lub jakikolwiek inny model przechodzi test, nie działa on bezpośrednio na piksele. Zamiast tego odpowiednik jest podawany do maszyny w postaci macierzy wierszy i kolumn liczb, które w odpowiedzi należy przekształcić w inną macierz. Dlatego modele AI nie „widzą” testu w taki sam sposób, jak człowiek.

Co jeszcze nie jest jasne

Pomimo osiągnięć o3, trudno jest sformułować ostateczne stwierdzenia na temat możliwości o3. Ponieważ model OpenAI ma zamknięte źródło, nadal nie jest jasne, w jaki sposób model rozwiązuje to wyzwanie.

Nie będąc częścią OpenAI, Chollet musi spekulować, w jaki sposób o3 robi to, co robi.

Przypuszcza, że osiągnięcie to jest wynikiem zmiany „architektury” o3 przez OpenAI w stosunku do jej poprzedników. Architektura w sztucznej inteligencji odnosi się do rozmieszczenia i relacji elementów funkcjonalnych, które nadają kodowi jego strukturę.

Chollet spekuluje na blogu: „w czasie testów model przeszukuje przestrzeń możliwych łańcuchów myśli (CoT), opisując kroki wymagane do rozwiązania zadania, w sposób być może niezbyt różniący się od wyszukiwania drzewa Monte Carlo w stylu AlphaZero”.

Termin łańcuch myślowy odnosi się do coraz bardziej popularnego podejścia do generatywnej sztucznej inteligencji, w którym model sztucznej inteligencji może szczegółowo opisać sekwencję obliczeń wykonywanych w celu uzyskania ostatecznej odpowiedzi. AlphaZero to słynny program sztucznej inteligencji jednostki Google DeepMind, który w 2016 roku pokonał ludzi w szachach. Wyszukiwanie drzew w Monte Carlo to podejście stosowane od kilkudziesięciu lat w informatyce.

W wymianie e-mailowej Chollet opowiedział mi nieco więcej o swoim sposobie myślenia. Zapytałem, jak wpadł na pomysł przeszukania łańcuchów myślowych. „Bez wątpienia, gdy model «myśli» godzinami i generuje miliony żetonów w procesie rozwiązywania pojedynczej łamigłówki, musi przeprowadzać jakiś rodzaj wyszukiwania” - odpowiedział Chollet.

Chollet dodał:

It is completely obvious from the latency/cost characteristics of the model that it is doing something completely different from the GPT series. It's not the same architecture, nor in fact anything remotely close. The defining factor of the new system is a huge amount of test-time search. Previously, 4 years of scaling up the same architecture (the GPT series) had yielded no progress on ARC, and now this system which clearly has a new architecture is creating a step function change in capabilities, so architecture is everything.

Jest tu szereg zastrzeżeń. OpenAI nie ujawniło, ile pieniędzy wydano na jedną z wersji o3, która miała rozwiązać ARC-AGI. To znaczące pominięcie, ponieważ jednym z kryteriów ARC-AGI jest koszt w rzeczywistych dolarach wykorzystania układów GPU jako wskaźnika zastępczego „wydajności” modelu AI.

Chollet powiedział mi w e-mailu, że podejście o3 nie jest równoznaczne z podejściem „brutalnej siły”, ale zażartował: „Oczywiście można również zdefiniować brutalną siłę jako„ rzucanie nadmiernej ilości obliczeń na prosty problem, „w takim przypadku można powiedzieć, że to brutalna siła”.

Chollet zauważa również, że o3 został przeszkolony do przystąpienia do testu ARC-AGI, korzystając z zestawu danych szkoleniowych konkurencji. Oznacza to, że nie jest jeszcze jasne, jak czysta wersja o3, bez przygotowania do testów, podejdzie do egzaminu.

Chollet powiedział mi w e-mailu: „Ciekawie będzie zobaczyć, jakie wyniki uzyska system podstawowy bez informacji związanych z ARC, ale w każdym razie fakt, że system jest dostrojony do ARC za pomocą zestawu szkoleniowego, nie unieważnia jego wydajności Do tego właśnie służy zestaw treningowy. Do tej pory nikt nie był w stanie osiągnąć podobnych wyników, nawet po przeszkoleniu na milionach wygenerowanych zadań ARC.

o3 nadal nie radzi sobie z niektórymi łatwymi zadaniami

Pomimo niepewności jedno wydaje się jasne: ci, którzy tęsknią za AGI, będą rozczarowani. Chollet podkreśla, że test ARC-AGI jest „narzędziem badawczym” i że „zaliczenie ARC-AGI nie jest równoznaczne z osiągnięciem AGI”.

„Właściwie to nie sądzę, że o3 jest jeszcze AGI” - pisze Chollet na blogu ARC-AGI. „o3 nadal nie radzi sobie z niektórymi bardzo łatwymi zadaniami, co wskazuje na fundamentalne różnice w stosunku do ludzkiej inteligencji”.

Aby zademonstrować, że wciąż nie osiągnęliśmy poziomu inteligencji na poziomie ludzkim, Chollet zauważa niektóre proste problemy w ARC-AGI, których o3 nie potrafi rozwiązać. Jeden z takich problemów polega po prostu na przesunięciu kolorowego kwadratu o określoną wartość - wzór, który szybko staje się jasny dla człowieka.

Przykładowy problem z ARC-AGI, w którym zawiódł model o3.