DataGemma firmy Google to pierwsza sztuczna inteligencja generacji na dużą skalę z RAG - dlaczego to ma znaczenie
Google Data Commons służy jako podstawa dostarczania informacji, z których można korzystać generatywnej sztucznej inteligencji.
Coraz popularniejsza technika generatywnej sztucznej inteligencji, znana jako generowanie wspomagane odzyskiwaniem danych (w skrócie RAG), była ulubionym projektem przedsiębiorstw, ale teraz wchodzi na główną scenę sztucznej inteligencji.
W zeszłym tygodniu Google zaprezentowało DataGemma, która jest połączeniem wielkojęzycznych modeli Google Gemma typu open source (LLM) i projektu Data Commons dla publicznie dostępnych danych. DataGemma wykorzystuje podejście RAG do pobierania danych przed udzieleniem odpowiedzi na zapytanie.
Założeniem jest uziemienie generatywnej sztucznej inteligencji, aby zapobiec „halucynacjom” - twierdzi Google - „poprzez wykorzystanie wiedzy Data Commons w celu zwiększenia rzeczowości i rozumowania LLM”.
Chociaż RAG staje się popularnym podejściem umożliwiającym przedsiębiorstwom oparcie LLM na ich zastrzeżonych danych korporacyjnych, wykorzystanie Data Commons stanowi pierwszą jak dotąd implementację RAG w skali opartej na chmurze sztucznej inteligencji Gen.
Data Commons to platforma programistyczna typu open source, która umożliwia tworzenie publicznie dostępnych baz danych. Gromadzi również rzeczywiste dane od instytucji takich jak Organizacja Narodów Zjednoczonych, które udostępniły swoje dane opinii publicznej.
Google zauważa, że łącząc te dwa elementy, przyjmuje „dwa różne podejścia”.
Pierwsze podejście polega na wykorzystaniu publicznie dostępnych danych statystycznych Data Commons w celu sprawdzenia konkretnych pytań wpisanych w pytaniu, takich jak: „Czy wzrosło wykorzystanie odnawialnych źródeł energii na świecie?” Gemma z Google odpowie na monit, stwierdzając, że przytacza konkretne statystyki. Google nazywa to „generacją przeplataną pobieraniem” lub RIG.
W drugim podejściu pełne RAG służy do cytowania źródeł danych „i umożliwiania bardziej kompleksowych i informacyjnych wyników” - twierdzi Google. Model Gemma AI czerpie z „okna długiego kontekstu” modelu Google o zamkniętym kodzie źródłowym, Gemini 1.5. Okno kontekstowe reprezentuje ilość danych wejściowych w tokenach - zwykle w słowach - które model sztucznej inteligencji może przechowywać w pamięci tymczasowej, na podstawie których może działać.
Gemini reklamuje Gemini 1.5 w oknie kontekstowym zawierającym 128 000 tokenów, chociaż jego wersje mogą żonglować nawet milionem tokenów na podstawie danych wejściowych. Posiadanie większego okna kontekstowego oznacza, że więcej danych pobranych z Data Commons może być przechowywanych w pamięci i przeglądanych przez model podczas przygotowywania odpowiedzi na zapytanie.
„DataGemma pobiera istotne informacje kontekstowe z Data Commons, zanim model zainicjuje generowanie odpowiedzi” - stwierdza Google, „minimalizując w ten sposób ryzyko halucynacji i zwiększając dokładność odpowiedzi”.
Badania są wciąż w fazie rozwoju; możesz zagłębić się w szczegóły w formalnym artykule badawczym autorstwa badacza Google Prashantha Radhakrishnana i współpracowników.
Google twierdzi, że należy przeprowadzić dalsze testy i prace rozwojowe, zanim DataGemma zostanie publicznie udostępniona w Gemmie i modelu Google o zamkniętym kodzie źródłowym, Gemini.
Jak twierdzi Google, RIG i RAG już doprowadziły do poprawy jakości wyników, dzięki czemu „użytkownicy będą doświadczać mniej halucynacji w przypadkach użycia w badaniach, podejmowaniu decyzji lub po prostu zaspokajaniu ciekawości”.
DataGemma to najnowszy przykład tego, jak Google i inne dominujące firmy zajmujące się sztuczną inteligencją poszerzają swoją ofertę o rzeczy wykraczające poza LLM.
W zeszłym tygodniu OpenAI zaprezentowało swój projekt o wewnętrznej nazwie kodowej „Strawberry” obejmujący dwa modele wykorzystujące technikę uczenia maszynowego zwaną „łańcuchem myślenia”, w której model sztucznej inteligencji ma za zadanie przeliterować w instrukcjach czynniki składające się na konkretną prognozę. zrobienie.