Google podąża za OpenAI, nie mówiąc prawie nic o swoim nowym programie AI PaLM 2

Podobnie jak OpenAI, gigant wyszukiwarek powraca do dziesięcioleci otwartych publikacji na temat badań nad sztuczną inteligencją.

Kiedy rok temu naukowcy Google zajmujący się sztuczną inteligencją ujawnili nowy, ważny program - Pathways Language Model (PaLM) - poświęcili kilkaset słów w artykule technicznym opisującym nowe, istotne techniki sztucznej inteligencji wykorzystywane do osiągania wyników programu.

Google przedstawiając w zeszłym tygodniu następcę PaLM, PaLM 2, nie ujawniło prawie niczego. W jednym wpisie w tabeli umieszczonym w załączniku na końcu 92-stronicowego „Raportu technicznego” badacze Google bardzo krótko opisują, jak tym razem nie powiedzą światu nic:

PaLM-2 is a new state-of-the-art language model. We have small, medium, and large variants that use stacked layers based on the Transformer architecture, with varying parameters depending on model size. Further details of model size and architecture are withheld from external publication.

Celowa odmowa ujawnienia tak zwanej architektury PaLM 2 - sposobu, w jaki program jest skonstruowany - jest sprzeczna nie tylko z wcześniejszym artykułem o PaLM, ale stanowi wyraźny punkt zwrotny w całej historii publikowania AI, która była głównie oparty na kodzie oprogramowania typu open source i który zwykle zawiera istotne szczegóły dotyczące architektury programu.

Ten zwrot jest wyraźnie odpowiedzią na działania jednego z największych konkurentów Google, OpenAI, który zadziwił społeczność badawczą w kwietniu, gdy odmówił ujawnienia szczegółów swojego najnowszego programu „generatywnej sztucznej inteligencji”, GPT-4. Wybitni badacze sztucznej inteligencji ostrzegali, że zaskakujący wybór dokonany przez OpenAI może mieć odstraszający wpływ na ujawnianie informacji w całej branży, a artykuł PaLM 2 jest pierwszym wyraźnym sygnałem, że mogą mieć rację.

(Istnieje również post na blogu podsumowujący nowe elementy PaLM 2, ale bez szczegółów technicznych.)

PaLM 2, podobnie jak GPT-4, to generatywny program AI, który może tworzyć skupiska tekstu w odpowiedzi na monity, umożliwiając mu wykonywanie szeregu zadań, takich jak odpowiadanie na pytania i kodowanie oprogramowania.

Podobnie jak OpenAI, Google odwraca kurs od dziesięcioleci otwartych publikacji na temat badań nad sztuczną inteligencją. Artykuł badawczy Google z 2017 r. zatytułowany „Wszystko, czego potrzebujesz” to uwaga, w którym szczegółowo ujawniono przełomowy program o nazwie Transformer. Program ten został szybko przyjęty przez większość społeczności badawczej zajmującej się sztuczną inteligencją oraz przez przemysł w celu opracowania programów przetwarzania języka naturalnego.

Do tych odgałęzień należy program ChatGPT zaprezentowany jesienią przez OpenAI - program, który wywołał globalne zainteresowanie ChatGPT.

Żaden z autorów tej oryginalnej pracy, w tym Ashish Vaswani, nie znajduje się na liście autorów PaLM 2.

W pewnym sensie zatem, ujawniając w jednym akapicie, że PaLM 2 jest potomkiem Transformera i odmawiając ujawnienia czegokolwiek innego, badacze firmy jasno dają do zrozumienia zarówno swój wkład w tę dziedzinę, jak i zamiar zakończenia tradycji dzielenia się przełomowe badania.

Pozostała część artykułu skupia się na tle wykorzystywanych danych szkoleniowych i wynikach testów porównawczych, dzięki którym program wyróżnia się.

Ten materiał oferuje kluczową wiedzę, opierając się na literaturze badawczej na temat sztucznej inteligencji: istnieje idealna równowaga pomiędzy ilością danych, na podstawie których szkolony jest program uczenia maszynowego, a rozmiarem programu.

Autorom udało się wprowadzić dietę w programie PaLM 2, znajdując odpowiednią równowagę między rozmiarem programu w stosunku do ilości danych treningowych, dzięki czemu sam program jest znacznie mniejszy niż oryginalny program PaLM - piszą. Wydaje się to istotne, biorąc pod uwagę, że trend w sztucznej inteligencji zmierza ostatnio w odwrotnym kierunku, na coraz większą skalę.

Jak piszą autorzy,

The largest model in the PaLM 2 family, PaLM 2-L, is significantly smaller than the largest PaLM model but uses more training compute. Our evaluation results show that PaLM 2 models significantly outperform PaLM on a variety of tasks, including natural language generation, translation, and reasoning. These results suggest that model scaling is not the only way to improve performance. Instead, performance can be unlocked by meticulous data selection and efficient architecture/objectives. Moreover, a smaller but higher quality model significantly improves inference efficiency, reduces serving cost, and enables the model's downstream application for more applications and users.

Autorzy PaLM 2 twierdzą, że istnieje złoty środek pomiędzy wielkością programu a ilością danych szkoleniowych. Programy PaLM 2 w porównaniu z PaLM wykazują wyraźną poprawę dokładności w testach porównawczych, jak autorzy przedstawiają w jednej tabeli:

Opierają się w ten sposób na obserwacjach z ostatnich dwóch lat praktycznych badań w skali programów AI.

Na przykład szeroko cytowana praca Jordana Hoffmana i współpracowników z zeszłego roku w DeepMind firmy Google stworzyła tak zwaną praktyczną zasadę szynszyli, czyli wzór na zrównoważenie ilości danych treningowych i rozmiaru programu.

Naukowcy z PaLM 2 podają nieco inne liczby niż Hoffman i zespół, ale potwierdzają one to, co stwierdzono w artykule. Przedstawiają swoje wyniki bezpośrednio z pracą szynszyli w jednej tabeli skalowania:

Spostrzeżenie to jest zgodne z wysiłkami młodych firm, takich jak Snorkel, trzyletni start-up zajmujący się sztuczną inteligencją z siedzibą w San Francisco, który w listopadzie zaprezentował narzędzia do oznaczania danych szkoleniowych. Założeniem Snorkel jest to, że lepsza selekcja danych może zmniejszyć część niezbędnych obliczeń.

To skupienie się na słodkim punkcie stanowi lekkie odejście od oryginalnego PaLM. W przypadku tego modelu Google podkreślił skalę szkolenia programu, zauważając, że jest to „największa jak dotąd konfiguracja systemu opartego na TPU wykorzystana do szkolenia”, odnosząc się do chipów komputerowych TPU firmy Google.

Tym razem nie ma takich przechwałek. Choć nowe prace PaLM 2 nie ujawniły żadnych szczegółów, można powiedzieć, że potwierdzają one trend odchodzenia od rozmiaru na rzecz rozmiaru w kierunku bardziej przemyślanego podejścia do skali i możliwości.