Meta GenAI przechodzi od prostych przewidywań do gry w szachy o konsekwencjach

Zamiast konwencjonalnego podejścia ChatGPT naukowcy Meta opowiadają się za zoptymalizowanym „przewidywaniem wielotokenowym” - takim, które karze błędne odpowiedzi.

Schemat podejścia Meta do tak zwanego przewidywania wielotokenowego. Podczas uczenia modelu AI dane wejściowe są wprowadzane w zwykły sposób, ale zamiast trenować model AI tak, aby w odpowiedzi wygenerował pojedynczy token - na przykład kolejne najbardziej prawdopodobne słowo - model jest szkolony tak, aby jednocześnie generował cztery lub więcej prawdopodobne żetony.

Modele generatywne AI, takie jak GPT-4, zadziwiły nas wszystkich możliwością tworzenia tekstu przypominającego myśl, na przykład odpowiedzi na pytania wielokrotnego wyboru. Dotarcie do „właściwej” myśli, np. odpowiedzi na pytanie, pozostaje jednak głębszym problemem, o czym świadczy zjawisko „halucynacji”, w przypadku których modele sztucznej inteligencji będą - z pozorną pewnością - stwierdzać fałszywe stwierdzenia.

W nowej pracy naukowcy z Meta ulepszyli duże modele językowe (LLM), aby uzyskać bardziej poprawne wyniki w danej sytuacji, wprowadzając pojęcie kar za błędne odpowiedzi.

Podejście to, znane jako „przewidywanie wielu tokenów”, ma na celu zaszczepienie w modelu sztucznej inteligencji kosztu mniej pożądanych odpowiedzi. W tym sensie jest to analogiczne do popularnych podejść do ustanawiania barier ochronnych w sztucznej inteligencji, takich jak „uczenie się przez wzmacnianie na podstawie opinii ludzi” lub RLHF, metoda spopularyzowana przez OpenAI w celu ograniczenia najbardziej oburzających wyników ChatGPT.

(„Model AI” to część programu AI zawierającego liczne parametry sieci neuronowej i funkcje aktywacji, które są kluczowymi elementami funkcji programu AI).

„Zyski są szczególnie widoczne w przypadku testów porównawczych generatywnych, takich jak kodowanie, gdzie nasze modele stale osiągają lepsze wyniki od solidnych wartości bazowych o kilka punktów procentowych” - piszą autorzy książki „Better & Faster Large Language Models via Multi-token Prediction”. Główny autor Fabian Gloeckle, do którego dołączyli koledzy z Facebook AI Research i współpracujące instytucje CERMICS École des Ponts ParisTech i LISN Université Paris-Saclay, opublikowali artykuł w zeszłym miesiącu na serwerze przeddruku arXiv.

Główną obawą autorów jest to, że LLM - pomimo imponujących osiągnięć - nie osiągają takich efektów, jak rozumowanie i planowanie. Konwencjonalne podejście ChatGPT i innych, zwane „przewidywaniem następnego tokena”, piszą, „pozostaje nieefektywnym sposobem zdobywania języka, wiedzy o świecie i zdolności rozumowania”.

Zamiast prostego przewidywania następnego tokenu, w którym model sztucznej inteligencji jest szkolony do przewidywania pojedynczego „tokenu”, takiego jak słowo lub znak w ciągu tokenów - powiedzmy następnego słowa w zdaniu - zespół Meta wersja tokenowa jest przeszkolona do jednoczesnego przewidywania wielu tokenów tekstu, z których każdy może być poprawnym uzupełnieniem sekwencji.

Technicznie rzecz biorąc, zespół Gloeckle'a zmienia podstawową strukturę LLM, znaną jako Transformator, tak aby miał cztery wyjściowe „głowy”, z których każda tworzy słowo, znak lub inny symbol, a nie standardową pojedynczą głowicę.

Bezpośrednią zaletą tego podejścia jest to, że może ono bardziej oszczędzać pamięć, gdy model sztucznej inteligencji jest aktywny, umożliwiając przewidywanie użytkownikom, co jest określane jako etap wnioskowania sztucznej inteligencji. Ponieważ w tle może pracować wiele głowic wyjściowych, próbując wypróbować różne możliwości, może wystąpić wysoki stopień równoległości. Ta forma „dekodowania spekulatywnego” oznacza, że podejście oparte na wielu tokenach „może przyspieszyć wnioskowanie trzykrotnie” w porównaniu z przewidywaniem jednej rzeczy na raz.

Istnieje również głębszy wgląd. Normalne modele sztucznej inteligencji wybierające jeden token na raz są - w pewnym sensie - płaskie: nie uważają żadnej pojedynczej prognozy za ważniejszą od poprzedniej, o ile bieżąca prognoza jest dobra.

W rzeczywistości zespół zauważa, że istnieje duża różnica między niektórymi tokenami w zdaniu. W często cytowanym memie interpunkcyjnym „przestańcie się bawić, foki” - obecność lub brak przecinka w środkowym zdaniu decyduje o różnicy między pilnym apelem o prawa zwierząt a zabawnym obrazem. Humor w wypowiedzi działa na wyobraźnię, ponieważ przecinek zmienia semantykę wyrażenia.

Rzecz w tym, jak zauważyli inni, że „nie wszystkie symboliczne decyzje są równie ważne dla generowania użytecznych tekstów na podstawie modeli językowych” - napisał zespół Gloeckle’a. „Podczas gdy niektóre tokeny pozwalają na zmiany stylistyczne, które nie ograniczają pozostałej części tekstu, inne reprezentują punkty wyboru, które są powiązane z właściwościami semantycznymi tekstu wyższego poziomu i mogą decydować, czy odpowiedź zostanie postrzegana jako użyteczna lub wykolejenie.”

Zespół napisał, że podejście oparte na wielu głowach i wielu tokenach przypisuje przydatność każdej prognozie na podstawie innych jednoczesnych przewidywań. „Ogólnie uważamy, że jakość generowania tekstu zależy od podejmowania właściwych decyzji w punktach wyboru i że straty w przewidywaniu n-tokenów sprzyjają takim decyzjom” - napisał zespół.

„Punkt wyboru” obejmuje te momenty, w których jedna prognoza pociąga za sobą inne, które mogą wpłynąć na całe zdanie lub je złamać. „Przewidywanie wielu tokenów pośrednio przypisuje wagi tokenom szkoleniowym w zależności od tego, jak blisko są one skorelowane z ich następcami” - napisał zespół.

Przez analogię zespół Gloeckle’a porównuje wybieranie kolejnego słowa do poruszania się po labiryncie: każdy wybór może być drogą do nagrody lub drogą do jakiegoś strasznego losu.

Używają obrazu labiryntu do zilustrowania „zadania przewidywania sekwencyjnego” (w odniesieniu do przewidywania następnego słowa). Następny właściwy krok może być kluczowy i skierować model sztucznej inteligencji na właściwą lub złą ścieżkę - jak to nazywają, „wybór konsekwentny”.

Wybór kolejnego odpowiedniego żetonu przypomina chodzenie po labiryncie, piszą autorzy: w pewnych momentach wybór jest „konsekwentny”, który zadecyduje o sukcesie programu (trofeum) lub porażce (czaszka i skrzyżowane kości).

Dokonując uderzającej fuzji technologii, autorzy łączą podejście wieloelementowe z podejściem RLHF, próbując przewidzieć nagrodę w dalszej perspektywie: „Załóżmy, że model językowy jest wdrażany w uczeniu się przez wzmacnianie, podobnie jak w przypadku uczenia się przez wzmacnianie na podstawie informacji zwrotnych od ludzi … [gdzie] akcje to pojedyncze tokeny […] do wygenerowania.”

Powiązanie przewidywania tekstu z funkcjami nagradzania w ten sposób uwzględnia wszystkie obszary, w których funkcje nagradzania poczyniły ogromne postępy w grach. Funkcje nagrody są wykorzystywane we wszelkiego rodzaju problemach związanych ze sztuczną inteligencją, zwanych uczeniem się przez wzmacnianie, a nie tylko RLHF.

Na przykład jednostka Google DeepMind wykorzystała uczenie się przez wzmacnianie do opracowania AlphaZero - programu, który może pokonać ludzi w szachach i w Go. Był również używany w programie AlphaStar do rywalizacji w konkursach umiejętności w grach wideo przeciwko ludziom w strategicznej grze czasu rzeczywistego StarCraft II.

Ta grywalizacja ma natychmiastowy skutek w postaci uzyskania bardziej „optymalnej” odpowiedzi w przypadku podejścia opartego na wielu tokenach. Autorzy podają różnorodne wyniki porównawcze. Jeden z nich porównuje na przykład, jak model sztucznej inteligencji z 7 miliardami parametrów neuronowych, czyli wag, poprawia wydajność w miarę przechodzenia od przewidywania pojedynczego do przewidywania wielu tokenów.

W teście zatytułowanym „Mostly Basic Programming Problems” (MBPP), opracowanym w Google w 2021 r., model sztucznej inteligencji musi wygenerować kod, taki jak linie Pythona dla danej funkcji. W tym benchmarku program zawsze osiąga większą dokładność dzięki przewidywaniu wielu tokenów.

Jest też słodki punkt. Model sztucznej inteligencji wydaje się działać najlepiej przy czterech jednoczesnych tokenach, podczas gdy przewidywanie większej liczby - sześciu lub ośmiu - prowadzi do wyników, które nie są tak dobre.

W standardowych testach, takich jak „Przeważnie podstawowe problemy z programowaniem”, w których LLM musi wygenerować kod programowania, model sztucznej inteligencji tej samej wielkości, zawierający 7 miliardów parametrów neuronowych lub wag, osiąga większą dokładność, gdy wytwarza się więcej tokenów, jak wskazuje „n” liczba jednocześnie wygenerowanych tokenów.

Podobnie jak w przypadku wielu rzeczy w sieciach neuronowych, nie jest od razu pewne, dlaczego przewidywanie wielu tokenów powinno być lepsze niż przewidywanie pojedynczego tokenu. Autorzy przeczuwają, że ucząc model przewidywania wielotokenowego, powstały model pozwala uniknąć rozłączenia, które ma miejsce, gdy model sztucznej inteligencji tworzy prognozy na żywo z rzeczywistymi podpowiedziami użytkowników. Nazywa się to „niedopasowaniem dystrybucji między szkoleniem wymuszonym przez nauczycieli a pokoleniem autoregresyjnym”.

Jest jeszcze wiele rzeczy do rozwiązania, napisali Gloeckle i jego współpracownicy. Jednym z celów jest opracowanie metody automatyzacji słodkiego punktu, optymalnej liczby jednoczesnych tokenów, która prowadzi do największej dokładności. Innym sposobem jest automatyczne określenie odpowiedniej ilości danych potrzebnych do wytrenowania modelu sztucznej inteligencji, biorąc pod uwagę, że „optymalne rozmiary słownictwa dla przewidywania wielu tokenów prawdopodobnie różnią się od tych dla przewidywania następnego tokenu, a ich dostrojenie może prowadzić do lepszych wyników”.

Większy wniosek jest taki, że tradycyjne uczenie się przez wzmacnianie może mieć znacznie więcej do zaoferowania generatywnej sztucznej inteligencji, niż wielu przypuszczało do tej pory, co sugeruje, że w przyszłości nastąpi większe połączenie obu metodologii.