W jaki sposób plan transformacji branży IBM wykorzystuje sztuczną inteligencję, 5G i współpracę
Pomimo obsesji głębokiego uczenia na punkcie dużych modeli i ogólnego podejścia, Amazon pokazuje, że najlepsze wyniki można osiągnąć dzięki modelom ekonomicznym.
Proste zadanie, polegające na zredukowaniu wszystkich słów w artykule do zwartej sekwencji słów, która wyjaśnia centralny punkt artykułu, jest jednym z zadań wzorcowych w głębokim uczeniu. To właśnie tutaj naukowcy zajmujący się sztuczną inteligencją Alexa firmy Amazon twierdzą, że mogą przewyższyć wysiłki znacznie większych programów komputerowych takich jak DeepMind, Google, Meta, OpenAI i innych. Prace te mają wpływ na zużycie energii i efektywność śladu węglowego.
Dwa wątki badawcze zdecydowanie dominują obecnie w uczeniu maszynowym: uogólnienie podejścia do programów (do obsługi każdego potencjalnego zadania) oraz uczynienie ich większymi.
Największe sieci neuronowe, mierzone ich parametrami lub "wagami", osiągają ponad pół biliona wag. Modele takie jak Google Pathways Language Model (PaLM) oraz Nvidia i Microsoft Megatron-Turing NLG 530B należą do największych, z odpowiednio 540 miliardami i 530 miliardami parametrów. Ogólnie rzecz biorąc, im więcej parametrów ma program, tym większa ilość mocy obliczeniowej zużywa do trenowania, a także do uruchamiania w celu przewidywania, co nazywa się wnioskowaniem.
Oprócz artykułu, Soltan napisał post na blogu na ten temat.
Praca Amazona wpisuje się w szeroki trend w najnowszej literaturze mający na celu znalezienie alternatyw dla zwiększania rozmiaru. Dobrym przykładem jest artykuł opublikowany w zeszłym tygodniu przez Meta (właścicieli Facebooka i Instagrama) zatytułowany "Few-shot Learning with Retrieval Augmented Language Models". Opisuje model językowy o nazwie Atlas, który ma tylko 11 miliardów parametrów i jest trenowany przy użyciu zaledwie 64 przykładowych punktów danych.
Podobnie jak w przypadku AlexaTM 20B, program Atlas bije PaLM ze znacznym marginesem, jak piszą autorzy, nawet przy zaledwie 64 przykładach. Kluczem do Atlasu jest połączenie wstępnie wytrenowanego modelu językowego z możliwością pobierania informacji ze źródeł internetowych, takich jak Wikipedia, tak jakby dzwonił do przyjaciela w celu uzyskania odpowiedzi.
W przypadku AlexaTM 20B autorzy Amazon używają trzech poprawek, aby osiągnąć swoje wyniki.
Schemat Amazon 2022 AlexTM 20B
Pierwszą interesującą poprawką jest powrót do podstaw i przywrócenie czegoś usuniętego z ostatnich gigantycznych modeli językowych. Podstawa AlexaTM 20B jest taka sama jak PaLM i GPT-3 i innych, koder-dekoder Transformer - podejście zapoczątkowane w 2017 roku przez naukowców Google Ashisha Vaswaniego i współpracowników.
Transformator wykorzystuje jednostki zwane "samouwagą", aby uzyskać wynik prawdopodobieństwa dla tego, jak każde słowo może znaleźć się w kontekście innych słów. Wynik ten jest następnie używany do wypełniania pustych miejsc podczas przewidywania, że słowa utworzą znaczące bloki tekstu.
W przypadku AlexaTM 20B, Soltan i koledzy dokonują krytycznego odejścia od PaLM i GPT-3 oraz innych gigantycznych potomków oryginalnego Transformera. Te nowsze modele zrezygnowały z połowy Transformera, tak zwanego kodera (czegoś, co mapuje dane wejściowe do ukrytych stanów, aby następnie zostały zdekodowane w odpowiedź). Zamiast tego PaLM i GPT-3 łączą dane wejściowe z dekoderem, tworząc uproszczony program, który jest modelem "tylko dekoder".
Zespół Alexa umieszcza koder z powrotem w programie. Twierdzą, że posiadanie obu elementów pomaga poprawić dokładność w tym, co nazywa się "odszumianiem", co oznacza rekonstrukcję oryginalnego zdania, w którym niektóre słowa wypadły.
W modelu opartym tylko na dekoderze prawdopodobieństwo warunkowe przewidywanego tekstu przebiega tylko w jednym kierunku: każda następna odpowiedź opiera się tylko na tym, co nastąpiło wcześniej. Natomiast w pełnej wersji kodera-dekodera model dokonuje oceny prawdopodobieństw w obu kierunkach: tego, co nastąpiło przed danym słowem i tego, co następuje po nim. Lepiej sprawdza się to w zadaniach, w których nie tylko generuje się następny element w zdaniu, ale także wykonuje się takie czynności, jak porównywanie słowo w słowo, jak w zadaniach tłumaczeniowych z jednego języka na drugi.
Amazon 2022 AlexTM 20B Modele tylko z dekoderem
Jak piszą, "AlexaTM 20B osiąga nowy stan techniki na poziomie 82,63% w ustawieniu zerowego strzału w trybie odszumiania. Głównym powodem, dla którego tryb odszumiania lepiej sprawdza się w tym zadaniu, jest to, że w trybie odszumiania dane wejściowe są powtarzane w koderze i dekoderze, co pozwala modelowi w pełni wykorzystać zarówno koder, jak i dekoder, aby znaleźć najlepszą odpowiedź.
Drugą rzeczą, którą dodają autorzy, jest wytrenowanie modelu za pomocą tego, co nazywa się "przyczynowym modelowaniem języka". CLM, w skrócie, to zadanie używane w GPT-3 i innych transformatorach tylko z dekoderami. W szczególności reprezentuje każde słowo jako zależne tylko od słów, które pojawiły się wcześniej - sekwencyjna, jednokierunkowa zależność, która jest trenowana do generowania zdań na podstawie początkowego monitu.
Autorzy łączą zadanie odszumiania z zadaniem przyczynowym podczas trenowania AlexaTM 20B, przy czym odszumianie zajmuje 80% aktywności szkoleniowej, a modelowanie przyczynowe pozostałą piątą.
Zaletą dodania modelowania przyczynowego jest to, że podobnie jak GPT-3, pomaga w tym, co nazywa się "uczeniem się w kontekście". Uczenie się w kontekście to szeroka rubryka obejmująca wszystkie modele, które są w stanie przeprowadzić uczenie się bez użycia lub kilku ujęć. Oznacza to, że program nie ma wiedzy specyficznej dla danej dziedziny; Wystarczy, że podasz mu przykładowy monit, a program dokona prognozy, która jest zgodna z typem zadanego pytania.
Ze względu na ten hybrydowy reżim treningowy, AlexTM 20B nie tylko dobrze radzi sobie z rekonstrukcją zdań - zadaniem deszumiującym, ale jest również "pierwszym wielojęzycznym modelem seq2seq [sekwencja do sekwencji] zdolnym do uczenia się w kontekście" - piszą autorzy. Innymi słowy, jest to program hybrydowy.
Trzecią interesującą poprawką Soltana i jego kolegów jest ogromne zwiększenie liczby punktów danych wprowadzanych do programu podczas treningu. Podczas trenowania wprowadzają bilion "tokenów", pojedynczych fragmentów danych; to ponad trzy razy więcej niż otrzymuje GPT-3. Zestawy danych treningowych w tym przypadku składają się z wpisów w Wikipedii, a także z tego, co nazywa się mC4, zestawem danych do szkolenia Transformersów, wprowadzonym w zeszłym roku przez Linting Xue i jego kolegów z Google. Jest on oparty na tekście w języku naturalnym w 101 językach ze źródeł danych zeskrobanych w sieci Web Common Crawl.
Wykorzystanie bardzo dużej ilości wejściowych danych treningowych jest jednym z kluczowych elementów pracy Alexy. Soltan i jego zespół zdecydowali się pójść tą drogą, jak piszą, opierając się na obserwacji poczynionej przez Jordana Hoffmana i kolegów z OpenAI, opublikowanej w artykule z marca ubiegłego roku, "Trenowanie optymalnych obliczeniowo dużych modeli językowych".
W tym artykule Hoffman i współpracownicy konkludują, że "obecne duże modele językowe są znacznie niedostatecznie wytrenowane, co jest konsekwencją niedawnego skupienia się na skalowaniu modeli językowych przy jednoczesnym utrzymaniu stałej ilości danych treningowych". Biorąc pod uwagę szeroką gamę modeli językowych o różnych rozmiarach i testując je wszystkie z różnymi ilościami tokenów wejściowych, Autorzy doszli do wniosku, że "w przypadku trenowania optymalnego obliczeniowo rozmiar modelu i liczba tokenów treningowych powinny być skalowane równomiernie".
Dlatego AlexaTM 20B jest nie tylko oszczędna - ma na celu udowodnienie, że mniej parametrów można zrównoważyć większą ilością danych treningowych, aby dorównać atrakcyjnej wydajności.
Nawiasem mówiąc, autorzy dokładają również wszelkich starań, aby większość danych wejściowych była kształtowana jako naturalny tekst mówiony, rezygnując z wielkich liter i interpunkcji, co ma znaczenie w ustawieniu Alexa. "Dołączamy więcej tekstu mówionego niż pisanego, aby zaspokoić nasze wewnętrzne przypadki użycia" - piszą.
Niektóre technologie zespołu Alexa AI są wykorzystywane w produktach Alexa, chociaż Amazon powiedział ZDNet w e-mailu, że grupa "prowadzi również badania wybiegające w przyszłość". Model AlexaTM 20B, jak powiedział Amazon, "jest na tym etapie przede wszystkim projektem badawczym".
Amazon dodał: "Możliwe, że ten model zostanie wdrożony do produkcji w przyszłości, ale tylko zmodyfikowana wersja z barierkami ochronnymi będzie używana do opracowywania funkcji i produktów Alexa".
Autorzy trenują model AlexaTM 20B "przez 120 dni na 128 procesorach graficznych [Nvidia] A100, co daje łącznie 500 tys. aktualizacji przy skumulowanej wielkości partii 2 milionów tokenów (łącznie 1 bilion aktualizacji tokenów)" - piszą.
Może się wydawać, że to dużo, ale to mniej niż PaLM, który został przeszkolony przez Google na dwóch swoich TPU Pods czwartej generacji, składających się z 3,072 chipów TPU w każdym Pod, które są podłączone do 768 komputerów hostów.
Jak zauważyli w kwietniu autorzy Google, Aakanksha Chowdhery i jego zespół, była to "największa konfiguracja TPU opisana do tej pory".
Wyniki są podane w konkretnych wynikach testów. Sołtan i jego zespół kładą szczególny nacisk na swój sukces w poszczególnych zadaniach, a nie w każdym możliwym do wyobrażenia zadaniu. Na przykład Soltan i jego zespół zaobserwowali, że "AlexaTM 20B działa lepiej lub dorównuje największemu do tej pory modelowi dekodera o dużej gęstości (tj. PaLM 540B) w podsumowaniu zarówno w ustawieniach 1-shot, jak i dostrajania". Jest to szczególnie prawdziwe w zadaniu podsumowywania akapitów znanym jako MLSum; w języku niemieckim, hiszpańskim i francuskim AlexaTM 20B z łatwością pokonała PaLM.
Test porównawczy MLSum, wprowadzony w 2020 roku przez francuskie Narodowe Centrum Badań Naukowych, obejmuje 1,5 miliona artykułów z gazet. Zadanie polega na tym, aby model językowy wygenerował kilka zdań tekstu, które wyrażają ideę przedstawioną w całym artykule. Wymaga to oczywiście dużej redukcji setek słów do być może kilkudziesięciu.
W czwartym teście, XSum, przeprowadzonym w języku angielskim, model AlexaTM 20B był na drugim miejscu i pokonał wersję PaLM, która była większa niż AlexaTM 20B, ale mniejsza niż wersja PaLM o 540 miliardach parametrów.
Chociaż doskonale radzi sobie z podsumowaniem, AlexTM 20B zawodzi w niektórych innych zadaniach. Na przykład, testowany na zestawach danych "rozumowania" (takich jak MultiArith) i zadaniach rozumowania "łańcucha myśli" (które są bardzo prostymi problemami arytmetycznymi napisanymi w języku naturalnym), program pozostaje daleko w tyle za tym, co osiągają znacznie większe modele, takie jak GPT-3.
Piszą Soltan i jego zespół: "AlexaTM 20B działa nieco lepiej niż modele o podobnych rozmiarach, jednak nie zaobserwowaliśmy zysku, który wykazują znacznie większe modele, takie jak GPT3 175B, z takich specjalnych podpowiedzi", co oznacza wskazówki udzielane programowi na temat następnego kroku w problemie.
"Wyniki wskazują, że skalowanie parametrów modelu w górę ma kluczowe znaczenie dla dobrego wykonywania zadań »rozumowania«, jak to wcześniej wykazano [...] w architekturach opartych wyłącznie na dekoderach przy użyciu modeli Instruct-GPT3".
Skupiając się na udanych zadaniach, takich jak podsumowanie, głównym wnioskiem, do którego dochodzi Soltan i jego zespół, jest to, że ich mieszane podejście do szkolenia programu - wykorzystujące zarówno cele odszumiania, jak i przyczynowego modelowania języka - jest kluczem do zwiększenia wydajności.
"Sugeruje to, że mieszane szkolenie wstępne, a niekoniecznie dodatkowe szkolenie wielozadaniowe [...] jest kluczem do trenowania silnych modeli językowych na dużą skalę opartych na seq2seq (LLM)" - piszą.
Wracając do pierwotnego pytania o rozmiar, jak zauważono w wielu kontekstach, zużycie energii przez coraz większe programy sztucznej inteligencji stanowi problem etyczny w praktykach sztucznej inteligencji. Autorzy przekonują o tym, że ich bardziej efektywne podejście jest istotne.
Ponieważ AlexaTM 20B "jest znacznie mniejsza niż modele takie jak GPT3 175B, a mimo to osiąga podobną lub lepszą wydajność w różnych zadaniach", piszą, "ciągły wpływ na środowisko korzystania z AlexaTM 20B do wnioskowania jest znacznie niższy niż w przypadku większych modeli (około 8,7 razy niższy)".
Dodają: "W związku z tym, z biegiem czasu, AlexaTM 20B ma również niższy ślad węglowy".
Autorzy przedstawiają tabelę statystyk pokazującą względny ślad węglowy i jest duża różnica w liczbach.
To jest wykres porównawczy śladu węglowego Amazon 2022 AlexTM 20B.
Ta tabela śladów węglowych jest chyba najciekawszym aspektem tego wszystkiego. Wydaje się, że więcej badań nad głębokim uczeniem będzie miało na celu uzyskanie punktów w ocenach środowiskowych, aby pokazać, jak energooszczędne może być dane podejście. Jest to zgodne z rosnącym naciskiem świata na "ESG", czyli czynniki środowiskowe, społeczne i związane z ładem korporacyjnym we wszystkich kwestiach.
Może to oznaczać, że bycie świadomym ekologicznie stało się w pewnym sensie częścią celu głównego nurtu badań nad sztuczną inteligencją.