Naukowiec zajmujący się sztuczną inteligencją: „Musimy wyjść poza schematy dużych modeli językowych”
Współzałożyciel AI21 Labs, Yoav Shoham, twierdzi, że potrzeba czegoś dodatkowego, aby zbudować lepszą i inteligentniejszą generatywną sztuczną inteligencję.
Twórcy sztucznej inteligencji generatywnej (Gen AI) nieustannie przesuwają granice tego, co możliwe, jak na przykład Google Gemini 1.5, który może przyjąć milion tokenów informacji jednocześnie.
Jednak nawet ten poziom rozwoju nie wystarczy, aby osiągnąć prawdziwy postęp w AI - twierdzą konkurenci, którzy idą ramię w ramię z Google. „Musimy myśleć nieszablonowo o LLM” - powiedział współzałożyciel i współzałożyciel AI21 Labs Yoav Shoham w wywiadzie dla ZDNET.
AI21 Labs, start-up wspierany ze środków prywatnych, konkuruje z Google w zakresie LLM, czyli dużych modeli językowych, które stanowią podstawę Gen AI. Shoham, niegdyś główny naukowiec w Google, jest także emerytowanym profesorem na Uniwersytecie Stanforda.
„Są niesamowici w tym, co dają, ale tak naprawdę nie rozumieją, co robią” - powiedział o LLM. „Myślę, że nawet najbardziej zagorzali specjaliści od sieci neuronowych nie sądzą, że można jedynie zbudować większy model językowy, a oni rozwiążą wszystko”.
Badacze z AI21 Labs podkreślają podstawowe błędy GPT-3 OpenAI jako przykład tego, jak modele potykają się o podstawowe pytania. Odpowiedzią, twierdzi startup, jest rozszerzenie LLM o coś innego, na przykład moduły, które mogą działać spójnie.
Startup Shohama jest pionierem nowatorskiego podejścia do sztucznej inteligencji generacji, które wykracza poza tradycyjny „transformator” - podstawowy element większości LLM. Na przykład w kwietniu AI21 Labs zadebiutowało modelem o nazwie Jamba, będącym intrygującym połączeniem transformatorów z drugą siecią neuronową zwaną modelem przestrzeni stanów (SSM).
Ta mieszanka pozwoliła Jambie wyprzedzić inne modele sztucznej inteligencji pod względem ważnych wskaźników. Shoham poprosił ZDNET o obszerne wyjaśnienie jednego ważnego wskaźnika: długości kontekstu.
Długość kontekstu to ilość danych wejściowych - w tokenach, zwykle w słowach - którą program może obsłużyć. Meta's Llama 3.1 obsługuje do 128 000 tokenów w swoim oknie kontekstowym. Jamba firmy AI21 Labs, która jest również oprogramowaniem typu open source, ma dwukrotnie większą liczbę - okno kontekstowe zawierające 256 000 tokenów.
Szoham. „Nawet najbardziej zagorzali specjaliści od sieci neuronowych nie sądzą, że można jedynie zbudować większy model językowy, a oni rozwiążą wszystko”.
W bezpośrednich testach, wykorzystując test porównawczy opracowany przez Nvidię, Shoham stwierdził, że model Jamba to jedyny model poza Gemini, który jest w stanie utrzymać „w praktyce” okno kontekstowe 256 KB. Długość kontekstu może być reklamowana jako jedno, ale może się rozpaść, gdy model uzyskuje niższe wyniki w miarę wzrostu długości kontekstu.
„Jesteśmy jedynymi, którzy mówią prawdę w reklamie” - jeśli chodzi o długość kontekstu, powiedział Shoham. „Wszystkie inne modele ulegają degradacji wraz ze wzrostem długości kontekstu”.
Shoham stwierdził, że Gemini firmy Google nie można testować powyżej 128 tys., biorąc pod uwagę ograniczenia nałożone przez Google na interfejs programowania aplikacji Gemini. „Właściwie mają dobre, efektywne okno kontekstowe, przynajmniej w rozdzielczości 128 KB” - powiedział.
Shoham stwierdził, że Jamba jest bardziej ekonomiczna niż Gemini przy tym samym oknie 128K. „Są około 10 razy droższe od nas”, jeśli chodzi o koszt udostępniania prognoz Gemini i Jamba, czyli praktyki wnioskowania, powiedział.
Wszystko to, podkreślił Shoham, jest wynikiem „architektonicznego” wyboru zrobienia czegoś innego, połączenia transformatora z SSM. „Możesz dokładnie pokazać, ile wywołań [API] jest wykonywanych” do modelu - powiedział ZDNET. „Nie chodzi tylko o koszt i opóźnienie, to nieodłączny element architektury”.
Shoham opisał ustalenia w poście na blogu.
Żaden z tych postępów nie ma jednak znaczenia, chyba że Jamba może zrobić coś lepszego. Shoham powiedział, że korzyści z posiadania dużego okna kontekstowego stają się oczywiste, w miarę jak świat zmierza w stronę takich rozwiązań, jak generowanie wspomagane wyszukiwaniem (RAG), czyli coraz popularniejsze podejście polegające na podłączeniu LLM do zewnętrznego źródła informacji, takiego jak baza danych.
Duże okno kontekstowe umożliwia LLM pobieranie i sortowanie większej ilości informacji ze źródła RAG w celu znalezienia odpowiedzi.
„Ostatecznie pobierz jak najwięcej [z bazy danych], ale nie za dużo” - to właściwe podejście do RAG, powiedział Shoham. „Teraz możesz odzyskać więcej niż wcześniej, jeśli masz długie okno kontekstowe, a teraz model językowy ma więcej informacji do pracy”.
Zapytany, czy istnieje praktyczny przykład takich działań, Shoham powiedział ZDNET: „Jest zbyt wcześnie, aby pokazać działający system. Mogę powiedzieć, że mamy kilku klientów, którzy są sfrustrowani rozwiązaniami RAG i którzy obecnie z nami współpracują. Jestem całkiem pewien, że będziemy w stanie pokazać publicznie wyniki, ale nie trwało to wystarczająco długo.
Jamba, którą od czasu umieszczenia w HuggingFace pobrano 180 000 osób, jest dostępna w usłudze wnioskowania Bedrock firmy Amazon oraz na platformie Microsoft Azure i „ludzie robią z nią ciekawe rzeczy” - powiedział Shoham.
To powiedziawszy, nawet ulepszony RAG nie jest ostatecznie ratunkiem dla różnych niedociągnięć Gen AI, od halucynacji po ryzyko, że pokolenia technologii popadną w bełkot.
„Myślę, że zobaczymy ludzi wymagających więcej, wymagających systemów, które nie będą śmieszne i oferujących coś, co wygląda na prawdziwe zrozumienie, mających odpowiedzi niemal doskonałe” - powiedział Shoham - „i nie będą to czyste LLM”.
W artykule opublikowanym w zeszłym miesiącu na serwerze pre-print arXiv wraz ze współpracownikiem Kevinem Leytonem-Brownem, zatytułowanym „Understanding Understanding: A Pragmatic Framework Motivated by Large Language Models”, Shoham pokazał, jak poprzez liczne operacje, takie jak matematyka i manipulacja danych tabelarycznych, LLM przedstawiły „przekonująco brzmiące wyjaśnienia, które nie są warte metaforycznego papieru, na którym je spisano”.
„Pokazaliśmy, jak naiwnie podłączając [LLM] do stołu, ta funkcja tabeli zapewni sukces w 70% lub 80% przypadków” - Shoham powiedział ZDNET. „To często jest bardzo przyjemne, ponieważ dostajesz coś za darmo, ale jeśli jest to praca o znaczeniu krytycznym, nie możesz tego robić”.
Takie niepowodzenia, powiedział Shoham, oznaczają, że „całe podejście do tworzenia inteligencji będzie mówiło, że LLM mają do odegrania pewną rolę, ale stanowią część większego systemu sztucznej inteligencji, który przedstawia rzeczy, których nie da się zrobić za pomocą LLM”.
Shoham powiedział, że aby wyjść poza LLM, potrzebne są różne narzędzia, które pojawiły się w ciągu ostatnich kilku lat. Elementy takie jak wywołania funkcji pozwalają LLM przekazać zadanie innemu rodzajowi oprogramowania stworzonego specjalnie do konkretnego zadania.
„Jeśli chcesz dodawać, modele językowe to robią, ale robią to okropnie” - powiedział Shoham. „Hewlett-Packard dał nam kalkulator w 1970 r., po co wymyślać to koło na nowo? To przykład narzędzia”.
Shoham i inni szeroko pogrupowali LLM w rubryce „złożone systemy sztucznej inteligencji”. Z pomocą firmy Databricks, zajmującej się zarządzaniem danymi, Shoham zorganizował niedawno warsztaty na temat perspektyw budowy takich systemów.
Shoham powiedział, że przykładem wykorzystania takich narzędzi jest prezentowanie LLM ze „strukturą semantyczną” danych opartych na tabelach. „Teraz dokładność LLM jest niemal stuprocentowa”, powiedział, „a nie można by tego uzyskać, gdybyś użył modelu językowego bez dodatkowych elementów.
Poza narzędziami Shoham opowiada się za naukową eksploracją innych kierunków poza czystym podejściem do głębokiego uczenia się, które dominuje w sztucznej inteligencji od ponad dekady. „Nie uzyskasz solidnego rozumowania, po prostu wspierając się i mając nadzieję na najlepsze” - powiedział Shoham, odnosząc się do propagacji wstecznej, zasady uczenia się, według której szkolona jest większość dzisiejszej sztucznej inteligencji.
Shoham starał się unikać omawiania kolejnych inicjatyw produktowych, ale zasugerował, że to, co może być potrzebne, reprezentowane jest - przynajmniej z filozoficznego punktu widzenia - w systemie wprowadzonym przez niego i jego współpracowników w 2022 r., zwanym systemem MRKL (modularne rozumowanie, wiedza i język). .
W artykule opisano system MRKL jako zarówno „neuralny, obejmujący uniwersalny model ogromnego języka, jak i inne mniejsze, wyspecjalizowane LM”, a także „symboliczny, na przykład kalkulator matematyczny, przelicznik walut lub wywołanie API do bazy danych.”
Ta szerokość to neurosymboliczne podejście do sztucznej inteligencji. W ten sposób Shoham zgadza się z niektórymi wybitnymi myślicielami, którzy mają obawy co do dominacji pokolenia AI. Na przykład częsty krytyk sztucznej inteligencji, Gary Marcus, powiedział, że sztuczna inteligencja nigdy nie osiągnie inteligencji na poziomie ludzkim bez możliwości manipulowania symbolami.
MRKL został wdrożony jako program o nazwie Jurassic-X, który startup przetestował wraz ze swoimi partnerami.
System MRKL powinien móc używać LLM do analizowania problemów wymagających trudnych sformułowań, takich jak „99 butelek piwa na ścianie. Jedna spadła. Ile butelek piwa jest na ścianie?” Rzeczywistą arytmetyką zajmuje się druga sieć neuronowa z dostępem do logiki arytmetycznej, korzystając z argumentów wyodrębnionych z tekstu przez pierwszy model.
„Router” pomiędzy nimi ma trudne zadanie wybrania, które elementy wyodrębnić z tekstu przeanalizowanego przez LLM i wybrania, do którego „modułu” przekazać wyniki w celu wykonania logiki.
Ta praca oznacza, że „nie ma darmowego lunchu, ale w wielu przypadkach lunch ten jest przystępny cenowo” - napisał zespół Shohama.
Z punktu widzenia produktu i biznesu „chcielibyśmy w sposób ciągły zapewniać ludziom dodatkowe funkcje umożliwiające tworzenie czegoś” - powiedział Shoham.
Ważne jest to, że system taki jak MRKL nie musi spełniać wszystkiego, aby był praktyczny, powiedział. „Jeśli próbujesz zbudować uniwersalny program LLM, który rozumie problemy matematyczne i jak tworzyć zdjęcia osłów na Księżycu oraz jak pisać wiersze i robić to wszystko, może to być kosztowne” - zauważył. „Ale 80% danych w przedsiębiorstwie to tekst - masz tabele, masz wykresy, ale osły na Księżycu nie są tak ważne w przedsiębiorstwie”.
Czy biorąc pod uwagę sceptycyzm Shohama wobec samych programów LLM, istnieje niebezpieczeństwo, że dzisiejsza sztuczna inteligencja generacji może wywołać tak zwaną zimę AI (nagłe załamanie aktywności w wyniku całkowitego wyczerpania się odsetek i funduszy)?
„To ważne pytanie, ale tak naprawdę nie znam odpowiedzi” - powiedział. „Myślę, że tym razem jest inaczej, ponieważ w latach 80. XX wieku” podczas ostatniej zimy AI „sztuczna inteligencja nie stworzyła wystarczającej wartości, aby zrekompensować bezpodstawny szum. Obecnie wyraźnie panuje pewien bezpodstawny szum, ale mam wrażenie, że jest to, że stworzono wystarczającą wartość, która pozwoli nam przez to przejść.”