Co oznacza długie okno kontekstowe dla modelu AI, takiego jak Gemini?

Jeśli znasz modele sztucznej inteligencji i chatboty, prawdopodobnie słyszałeś termin „kontekst” używany w inny sposób niż to, do czego jesteś przyzwyczajony. Oto, co to oznacza.

Google właśnie ogłosił, że aktualizuje swoją usługę Gemini Advanced o model kontekstowy obejmujący milion, a wkrótce liczba ta wzrośnie do dwóch milionów.

Wyobraź sobie, że oglądasz serial telewizyjny, ale pamiętasz tylko jeden odcinek na raz. Przechodząc do następnego odcinka, natychmiast zapominasz o wszystkim, co właśnie obejrzałeś. Teraz wyobraź sobie, że pamiętasz każdy odcinek i każdy sezon tego programu telewizyjnego, który oglądałeś; pozwoliłoby to zrozumieć historię, postacie i zwroty akcji.

Omawiając modele sztucznej inteligencji (AI), zdolność do zapamiętania tylko jednego odcinka na raz i konieczność zapomnienia o nim przy przejściu do następnego odcinka stanowi krótkie okno kontekstowe. Zapamiętywanie wszystkich odcinków serialu reprezentuje model sztucznej inteligencji z dużym kontekstem - lub długim oknem kontekstowym.

Krótko mówiąc, długie okno kontekstowe sprawia, że model może zapamiętać wiele informacji na raz.

Wiedza o tym, co kontekst reprezentuje w sztucznej inteligencji, jest konieczna, aby dowiedzieć się więcej o długim oknie kontekstowym i jego wpływie na wydajność bota lub innego systemu.

Systemy AI, takie jak ChatGPT, chatbot Gemini i Microsoft Copilot, są zbudowane na modelach AI, w tym przypadku odpowiednio GPT-3.5, Gemini i GPT-4. Modele te zasadniczo działają jak mózgi systemów, przechowując wiedzę, zapamiętując informacje zawarte w rozmowie i odpowiednio reagując na zapytania użytkowników.

Kontekst w sztucznej inteligencji odnosi się do informacji, które nadają znaczenie i znaczenie bieżącym danym przetwarzanym przez sztuczną inteligencję. Są to informacje, które model bierze pod uwagę podczas podejmowania decyzji lub generowania odpowiedzi.

Kontekst jest mierzony w tokenach, a okno kontekstu reprezentuje maksymalną liczbę tokenów, które model może uwzględnić lub obsłużyć jednocześnie. Każdy żeton reprezentuje słowo lub część słowa, w zależności od języka. W języku angielskim jeden token reprezentuje zwykle jedno słowo, więc model sztucznej inteligencji, taki jak GPT-4 z oknem na 16 000 (16 tys.) tokenów, może obsłużyć około 12 000 słów.

Metody tokenizacji, czyli sposobu liczenia słów i tłumaczenia ich na tokeny, różnią się w zależności od systemu. Oto przykład tego, jak może wyglądać metoda tokenizacji:

Chatbot AI, który może obsłużyć około 12 000 słów, może streścić artykuł zawierający 3000 słów lub artykuł badawczy zawierający 5000 słów, a następnie odpowiedzieć na pytania uzupełniające, nie zapominając o zawartości dokumentu udostępnionego przez użytkownika. Tokeny z poprzednich wiadomości są uwzględniane w rozmowach, dając botowi kontekst dla omawianej kwestii.

Dlatego też, jeśli rozmowa mieści się w limicie tokenów, chatbot AI może zachować pełny kontekst. Jeśli jednak przekroczy limit tokenów, najwcześniejsze tokeny zostaną prawdopodobnie zignorowane lub utracone i pozostaną w oknie, więc bot potencjalnie straci pewien kontekst.

Dlatego Google z dumą reklamuje duże okno kontekstowe Gemini 1.5 Pro zawierające milion tokenów. Według dyrektora generalnego Google, Sundara Pichai, milion tokenów oznacza, że chatbot Gemini Advanced może przetworzyć ponad 30 000 linii kodu, pliki PDF o długości do 1500 stron lub 96 menu Cheesecake Factory.