Jak GenAI znacznie poprawiło się w kwestiach medycznych - dzięki RAG

Wykorzystując nowatorski zestaw pytań opracowany przez praktykujących lekarzy, stworzony w Stanford Almanac uzyskał lepsze wyniki niż zwykły ChatGPT-4, Bing firmy Microsoft i Bard firmy Google.

Naukowcy ze Stanford zbudowali system o nazwie Almanac, który będzie pobierał informacje medyczne w czasie rzeczywistym w odpowiedzi na monity AI pokolenia, i odkryli, że poprawia on odpowiedzi na pytania medyczne zadawane przez lekarzy.

To rok, w którym wiele podmiotów wykorzystujących generatywną sztuczną inteligencję będzie próbowało dać programom coś na kształt wiedzy. Będą to robić głównie przy użyciu szybko rozwijającego się wysiłku zwanego „generowaniem wspomaganym wyszukiwaniem” lub RAG, w ramach którego duże modele językowe (LLM) szukają danych wejściowych z zewnątrz - podczas tworzenia swoich wyników - w celu wzmocnienia tego, co sieć neuronowa może zrobić na swoich własny.

Jak wynika na przykład z raportu Uniwersytetu Stanforda i współpracowników opublikowanego w tym tygodniu w NEJM AI, nowym czasopiśmie wydawanym przez prestiżowe New England Journal of Medicine, RAG może sprawić, że studenci LLM będą lepiej dysponowali wiedzą medyczną.

Wersje GPT-4 i innych programów wzbogacone RAG „wykazały znaczną poprawę wydajności w porównaniu ze standardowymi programami LLM” podczas odpowiadania na nowatorskie pytania zapisywane przez certyfikowanych lekarzy, twierdzi główny autor raportu Cyril Zakka i współpracownicy.

Autorzy argumentują, że RAG jest kluczowym elementem bezpiecznego wdrożenia AI Gen w klinice. Twierdzą, że nawet programy stworzone specjalnie z myślą o wiedzy medycznej i obejmujące szkolenia na danych medycznych nie osiągają tego celu.

Autorzy piszą, że programy takie jak MedPaLM firmy Google DeepMind, LLM dostrojony do odpowiadania na pytania z różnych zbiorów danych medycznych, nadal cierpią na halucynacje. Ponadto ich odpowiedzi „nie odzwierciedlają dokładnie zadań istotnych klinicznie”.

RAG jest ważny, ponieważ alternatywą jest ciągłe przeszkolenie nauczycieli LLM, aby nadążali za zmieniającą się wiedzą medyczną, a jest to zadanie, które „może szybko stać się zbyt kosztowne przy programach o rozmiarach miliardów parametrów” - twierdzą.

Badanie otwiera nowe możliwości pod kilkoma względami. Po pierwsze, konstruuje nowe podejście - zwane Almanachem - do wyszukiwania informacji medycznych. Program Almanac pobiera dane medyczne przy użyciu metadanych z 14-letniej bazy danych medycznych opracowanej przez lekarzy o nazwie MDCalc.

Po drugie, Zakka i współpracownicy opracowali zupełnie nowy zestaw 314 pytań medycznych, nazwany ClinicalQA, „obejmujący kilka specjalizacji medycznych i obejmujący różne tematy, od wytycznych dotyczących leczenia po obliczenia kliniczne”. Pytania zostały napisane przez ośmiu lekarzy posiadających certyfikaty komisji i dwóch klinicystów, których zadaniem było napisanie „jak największej liczby pytań z zakresu Twojej specjalizacji, związanych z codziennymi obowiązkami klinicznymi”.

Celem nowego zestawu pytań jest uniknięcie zjawiska, w którym programy uczące się w oparciu o medyczne bazy danych kopiują fragmenty informacji, które później pojawiają się w testach medycznych, takich jak MedQA, podobnie jak zapamiętywanie odpowiedzi w teście. Jak to ujął Zakka i zespół: „Zbiory danych przeznaczone do oceny modelu mogą trafić do danych uczących, co utrudnia obiektywną ocenę modeli przy użyciu tych samych testów porównawczych”.

Zespół twierdzi, że pytania ClinicalQA są również bardziej realistyczne, ponieważ są pisane przez lekarzy. „Pytania przypominające amerykańskie egzaminy na uprawnienia medyczne nie obejmują pełnego zakresu rzeczywistych scenariuszy klinicznych, z którymi spotykają się lekarze” - piszą. „Często przedstawiają scenariusze pacjentów w formie zgrabnych winiet klinicznych, pomijając skomplikowaną serię mikrodecyzji, które stanowią prawdziwą opiekę nad pacjentem”.

W badaniu przedstawiono test tzw. zadań „zerowego strzału”, w których zastosowano model językowy bez modyfikacji i przykładów dobrych i złych odpowiedzi. Jest to podejście, które ma przetestować tak zwane „uczenie się w kontekście”, czyli zdolność modelu językowego do nabywania nowych możliwości, których nie było w danych szkoleniowych.

Almanac działa poprzez podłączenie GPT-4 OpenAI do programu zwanego przeglądarką, który wychodzi do źródeł internetowych w celu wykonania operacji RAG, w oparciu o wytyczne z metadanych MDCalc.

Gdy w danych medycznych zostanie znalezione dopasowanie do pytania, drugi program Almanachu, zwany Retriever, przekazuje wynik do GPT-4, który zamienia go w odpowiedź na pytanie w języku naturalnym.

Odpowiedzi Almanac korzystające z GPT-4 porównano z odpowiedziami ze zwykłego ChatGPT-4, Bing firmy Microsoft i Bard firmy Google, bez modyfikacji tych programów, jako punkt odniesienia.

Wszystkie odpowiedzi są oceniane przez lekarzy-ludzi pod kątem faktyczności, kompletności, „preferencji” - czyli tego, jak pożądane były odpowiedzi w odniesieniu do pytania - oraz bezpieczeństwa w odniesieniu do „kontradyktoryjnych” prób wyłączenia programów. Aby przetestować odporność na ataki, autorzy umieścili mylący tekst w 25 pytaniach mających przekonać program do „generowania nieprawidłowych wyników lub bardziej zaawansowanych scenariuszy mających na celu ominięcie sztucznych zabezpieczeń”.

Jak zauważa badanie, sędziowie nie wiedzieli, który program nadesłał jaką odpowiedź, aby powstrzymać ich od wyrażania uprzedzeń w stosunku do któregokolwiek programu.

Twierdzą, że Almanach uzyskał lepsze wyniki niż pozostałe trzy, uzyskując średnie wyniki w zakresie rzeczowości, kompletności i preferencji odpowiednio 67%, 70% i 70% na 100. Dla porównania odpowiedzi uzyskujące od 30% do 50% w przypadku pozostałe trzy.

Programy musiały także zawierać cytat o tym, skąd zostały zaczerpnięte dane, a wyniki otwierały oczy: Alamanc uzyskał znacznie wyższy wynik, z 91% poprawnych cytowań. Wydawało się, że pozostała trójka popełniła podstawowe błędy.

„Bing osiągnął wydajność na poziomie 82% dzięki niewiarygodnym źródłom, w tym osobistym blogom i forom internetowym” - piszą Zakka i zespół. „Chociaż cytaty ChatGPT-4 były najczęściej nękane przez nieistniejące lub niepowiązane strony internetowe, Bard albo polegał na swojej wewnętrznej wiedzy, albo odmawiał cytowania źródeł, mimo że był do tego zachęcany”.

Aby oprzeć się wrogim podpowiedziom, odkryli, że Almanach „znacznie wyparł” inne, odpowiadając w 100% poprawnie, chociaż czasami robił to poprzez odmowę udzielenia odpowiedzi.

Znów pojawiły się dziwactwa. Bard Google często podawał zarówno dobrą, jak i fałszywą odpowiedź, podpowiadając monit kontradyktoryjny. ChatGPT-4 był zdecydowanie najgorszy, uzyskując zaledwie 7% pytań w sytuacji kontradyktoryjnej, głównie dlatego, że zamiast całkowicie się powstrzymać, podałby błędne informacje.

Autorzy zauważają, że „optymalizacja” i „dostrojenie” Almanachu wymaga dużo pracy. Program „ma ograniczenia w skutecznym rankingu źródeł informacji według kryteriów, takich jak poziom dowodów, rodzaj badania i data publikacji”. Zauważają także, że poleganie na garstce sędziów-ludzi nie przynosi efektu skali, dlatego w przyszłym projekcie należy dążyć do zautomatyzowania ocen.