Amazon proponuje nowy benchmark AI do pomiaru RAG

Wybór odpowiedniego algorytmu dla RAG może przynieść więcej ulepszeń AI niż skalowanie do coraz większych modeli językowych, twierdzą badacze AWS.

Zarys proponowanego przez Amazon procesu benchmarkingu dla wdrożeń generatywnej sztucznej inteligencji RAG.

Zdaniem wielu obserwatorów ten rok ma być rokiem, w którym w przedsiębiorstwach startuje generatywna sztuczna inteligencja (GenAI). Jednym ze sposobów, w jaki mogłoby to nastąpić, jest generowanie wspomagane wyszukiwaniem (RAG) - metodologia, dzięki której wielkojęzyczny model sztucznej inteligencji jest podłączany do bazy danych zawierającej treści specyficzne dla domeny, takie jak pliki firmowe.

Jednakże RAG to nowa technologia, która ma swoje pułapki.

Z tego powodu badacze z AWS firmy Amazon proponują w nowym artykule ustalenie serii testów porównawczych, które w szczególności sprawdzą, jak dobrze RAG może odpowiadać na pytania dotyczące treści specyficznych dla domeny.

„Nasza metoda to zautomatyzowana, opłacalna, możliwa do interpretacji i solidna strategia wyboru optymalnych komponentów systemu RAG” - pisze główny autor Gauthier Guinet i zespół w pracy „Automated Evaluation of Retrieval-Augmented Language Models with Task- Specyficzna generacja egzaminu” opublikowana na serwerze preprintów arXiv.

Artykuł jest prezentowany podczas 41. Międzynarodowej Konferencji na temat uczenia maszynowego, konferencji AI, która odbywa się w dniach 21-27 lipca w Wiedniu.

Podstawowy problem, wyjaśnia Guinet i zespół, polega na tym, że chociaż istnieje wiele punktów odniesienia umożliwiających porównanie możliwości różnych dużych modeli językowych (LLM) w przypadku wielu zadań, w szczególności w obszarze RAG nie ma „kanonicznego” podejścia do pomiaru, które to „kompleksowa, ukierunkowana na konkretne zadanie ocena” wielu istotnych cech, w tym „prawdziwości” i „faktyczności”.

Autorzy uważają, że ich zautomatyzowana metoda zapewnia pewną jednolitość: „Dzięki automatycznemu generowaniu egzaminów wielokrotnego wyboru dostosowanych do zbioru dokumentów powiązanych z każdym zadaniem, nasze podejście umożliwia standaryzowaną, skalowalną i interpretowalną punktację różnych systemów RAG”.

Aby sprostać temu zadaniu, autorzy generują pary pytanie-odpowiedź, opierając się na materiałach z czterech dziedzin: dokumenty dotyczące rozwiązywania problemów AWS na temat DevOps; streszczenia artykułów naukowych z serwera preprintów arXiv; pytania dotyczące StackExchange; oraz wnioski złożone przez amerykańską Komisję Papierów Wartościowych i Giełd, głównego organu regulacyjnego spółek notowanych na giełdzie.

Następnie opracowują testy wielokrotnego wyboru dla LLM, aby ocenić, jak blisko każdego LLM jest właściwa odpowiedź. Poddają tym egzaminom dwie rodziny programów LLM typu open source - Mistral od francuskiej firmy o tej samej nazwie i Meta's Llama.

Testują modele w trzech scenariuszach. Pierwszy to scenariusz „zamkniętej księgi”, w którym LLM nie ma żadnego dostępu do danych RAG i musi polegać na wcześniej wyszkolonych „parametrach” neuronowych - lub „wagach” - aby znaleźć odpowiedź. Drugi to tak zwane formularze RAG „Oracle”, w których LLM uzyskuje dostęp do dokładnego dokumentu użytego do wygenerowania pytania, czyli podstawowej prawdy, jak jest ona znana.

Trzecią formą jest „wyszukiwanie klasyczne”, w przypadku którego model musi przeszukiwać cały zbiór danych w poszukiwaniu kontekstu pytania, korzystając z różnych algorytmów. Wykorzystuje się kilka popularnych formuł RAG, w tym jedną wprowadzoną w 2019 roku przez naukowców z Uniwersytetu w Tel Awiwie i Instytutu Sztucznej Inteligencji Allena, MultiQA; oraz starsze, ale bardzo popularne podejście do wyszukiwania informacji zwane BM25.

Następnie przeprowadzają egzaminy i podliczają wyniki, które są na tyle złożone, że można wypełnić tony wykresów i tabel przedstawiających względne mocne i słabe strony LLM oraz różnych podejść RAG. Autorzy przeprowadzają nawet metaanalizę pytań egzaminacyjnych, aby ocenić ich użyteczność, w oparciu o dobrze znaną w edukacji „taksonomię Blooma”.

Jeszcze ważniejsze niż punkty danych z egzaminów liczą się ogólne ustalenia, które mogą być prawdziwe w przypadku RAG - niezależnie od szczegółów wdrożenia.

Jednym z ogólnych wniosków jest to, że lepsze algorytmy RAG mogą ulepszyć LLM w większym stopniu niż na przykład zwiększenie LLM.

„Właściwy wybór metody wyszukiwania może często prowadzić do poprawy wydajności przewyższającej tę wynikającą z prostego wyboru większych LLM” - piszą.

Jest to ważne, biorąc pod uwagę obawy dotyczące rosnącego zużycia zasobów GenAI. Jeśli możesz zrobić więcej za mniej, jest to cenna droga do odkrycia. Sugeruje to również, że powszechny obecnie pogląd na temat sztucznej inteligencji, że skalowanie jest zawsze najlepsze, nie jest do końca prawdziwy, jeśli chodzi o rozwiązywanie konkretnych problemów.

Co równie ważne, autorzy odkryli, że jeśli algorytm RAG nie działa poprawnie, może pogorszyć wydajność LLM w porównaniu z zamkniętą, zwykłą wersją standardową bez RAG.

„Źle ustawiony element aportera może prowadzić do gorszej dokładności niż brak aportowania” - jak to ujęli Guinet i zespół.