Nowa technika Google Infini-attention umożliwia wprowadzanie nieskończonego tekstu do LLM

Technika ta może utorować drogę zdecydowanie fascynującym wdrożeniom sztucznej inteligencji.

Dzisiejsze duże modele językowe (LLM) mają ograniczenia dotyczące ilości informacji, które można wprowadzić, zanim dadzą wynik. Google ujawnił sposób, aby to zmienić: metodę, która pozwala LLM akceptować nieskończoną ilość tekstu. Technika zwana Infini-attention działa bez poświęcania pamięci i mocy obliczeniowej, tworząc bardziej wydajne i potencjalnie wpływowe wyniki LLM.

„Efektywny system pamięci jest kluczowy nie tylko dla zrozumienia długich kontekstów w LLM, ale także dla rozumowania, planowania, ciągłego dostosowywania się do nowej wiedzy, a nawet uczenia się, jak się uczyć” - napisali autorzy w artykule badawczym towarzyszącym ich ogłoszeniu.

Okna kontekstowe odgrywają kluczową rolę w działaniu LLM, a w chwili pisania tego tekstu wszystkie popularne modele sztucznej inteligencji, w tym GPT-4 OpenAI i Claude 3 firmy Anthropic, mają skończone okno kontekstowe. Na przykład Claude 3 pozwala na użycie do 200 000 tokenów, czyli znaków alfanumerycznych, w jednym zapytaniu. Okno kontekstowe GPT-4 pozwala na 128 000 tokenów.

Okno kontekstowe ma duże znaczenie dla LLM. Im więcej tokenów jest dozwolonych w oknie kontekstowym, tym więcej danych użytkownicy mogą wprowadzić, aby wygenerować pożądany wynik. Dlatego twórcy LLM starają się zwiększać liczbę tokenów z każdą nową iteracją, aby ich modele były skuteczniejsze w uczeniu się, rozumieniu i dostarczaniu wyników.

Aby jednak było to możliwe, firmy technologiczne muszą dostosować się do wymagań dotyczących pamięci i obliczeń. Badacze Google napisali, że przy każdym podwojeniu okna kontekstowego LLM wymagania dotyczące pamięci i obliczeń zwiększają się czterokrotnie. Każde zwiększenie pamięci i mocy obliczeniowej wiąże się oczywiście nie tylko z dużym zasobochłonnością, ale też niezwykle kosztownym procesem.

Infini-attention firmy Google rozwiązuje ten problem, wykorzystując istniejącą pamięć i wymagania obliczeniowe. Kiedy badacze wprowadzili do okna kontekstowego dodatkowe szczegóły wykraczające poza ograniczenia testowanych modeli, przenieśli wszystkie dane aż do limitu do tak zwanej „pamięci kompresyjnej” i usunęli je z pamięci aktywnej, która następnie została zwolniona na potrzeby dodatkowy kontekst. Po wprowadzeniu wszystkich danych model był w stanie sparować pamięć kompresyjną ze wszystkimi danymi wejściowymi w pamięci aktywnej, aby dostarczyć odpowiedź. Technika ta umożliwia „naturalne rozszerzenie istniejących LLM na nieskończenie długie konteksty poprzez ciągłe szkolenie wstępne i dostrajanie” - napisali naukowcy.

Uzbrojeni w możliwość umieszczenia w swoich modelach tak dużego kontekstu, jak chcieli, badacze porównali swoją technikę uwagi Infini z istniejącymi LLM i stwierdzili, że ich opcja jest lepsza. „Nasze podejście można w naturalny sposób skalować do reżimu sekwencji wejściowych o długości miliona, a jednocześnie przewyższać wartości bazowe w przypadku zadań porównawczych modelowania języka o długim kontekście i podsumowań książek” - napisali naukowcy.

Naukowcy nie udostępnili swoich danych ani nie udowodnili, że ich metoda rzeczywiście działa lepiej niż istniejące modele. Jest jednak oczywiste, że jeśli uda się wyeliminować ograniczenia okna kontekstowego, modele wyposażone w tę technikę powinny osiągać lepsze wyniki niż modele z wprowadzonymi ograniczeniami.

Technika Google może utorować drogę do radykalnej poprawy wydajności LLM, umożliwiając firmom tworzenie nowych aplikacji, generowanie dodatkowych informacji i nie tylko. Na razie jednak Infini-attention ma charakter wyłącznie badawczy. Nie jest jasne, czy technika ta znajdzie zastosowanie w powszechnie dostępnych LLM.