Cerebras i M42 z Abu Zabi przygotowały LLM poświęcone odpowiadaniu na pytania medyczne
Sieć neuronowa Med42 o otwartym kodzie źródłowym została dostrojona przy użyciu zestawu danych zawierającego 700 000 par pytań i odpowiedzi.
Zastosowań sztucznej inteligencji w opiece zdrowotnej jest wiele. Jednak w dużej mierze są one zdominowane przez starszą technologię sztucznej inteligencji; nowsze rzeczy, takie jak tak zwana generatywna sztuczna inteligencja i modele wielkojęzykowe (LLM), są obecnie modne, ale uważa się je za zbyt ryzykowne, aby można je było stosować w większym stopniu w opiece zdrowotnej, biorąc pod uwagę wrażliwy charakter aplikacji zdrowotnych, jak ma to miejsce w przypadku ZDNET niedawno zgłoszone.
Wysiłki w zakresie oprogramowania typu open source mogą pomóc w rozwoju generatywnej sztucznej inteligencji, ułatwiając zaglądanie do „czarnej skrzynki” sztucznej inteligencji w porównaniu z zamkniętymi programami, takimi jak ChatGPT OpenAI.
W tym duchu producent komputerów AI, Cerebras Systems, ogłosił w zeszłym tygodniu wspólne wysiłki z partnerem M42, operatorem placówek opieki zdrowotnej w 27 krajach, mające na celu zaoferowanie oprogramowania LLM typu open source przeznaczonego do zastosowań zdrowotnych, aby służyć jako „asystent” świadczeniodawców .
Program o nazwie Med42 jest udoskonaleniem Llama 2, oprogramowania LLM o otwartym kodzie źródłowym wydanego w tym roku przez Meta Properties, wykorzystującego specjalny zestaw danych dotyczących zdrowia opracowany przez firmy.
„To przeciera szlak w zakresie wykorzystania sztucznej inteligencji w świadczeniu opieki zdrowotnej” - powiedział współzałożyciel i dyrektor generalny Cerebras, Andrew Feldman, w wywiadzie dla ZDNET.
Według firm zastosowania programu jako asystenta lekarzy obejmują odpowiadanie na pytania medyczne, podsumowywanie dokumentacji pacjenta, wspomaganie diagnozy medycznej oraz zadawanie pytań i odpowiedzi na temat ogólnego stanu zdrowia. Nie obejmuje to szkolenia lekarzy - podkreślali.
Program Med42 korzysta z wersji Llama 2 zawierającej 70 miliardów parametrów. Prace nad dostrojeniem wykonały Cerebras i M42 we współpracy z Core42, firmą zarządzającą zajmującą się usługami zarządzanymi i IT, która prowadzi podstawowe badania nad sztuczną inteligencją. Zarówno M42, jak i Core42 są własnością klienta Cerebras, G42, globalnego konglomeratu.
Sieć neuronowa Med42 została dostrojona przy użyciu zestawu danych składającego się z 700 000 par pytań i odpowiedzi z publicznie dostępnych źródeł, „wybranego przez M42 i sprawdzonego przez nasz zespół ekspertów medycznych” - stwierdził M42 w e-mailu do ZDNET. „Zestaw danych zawierał między innymi pytania wielokrotnego wyboru, fiszki medyczne” - stwierdzono.
„Med42 nie został przeszkolony w zakresie danych pacjentów ani informacji umożliwiających identyfikację” - stwierdził M42.
Kod M42 jest już dostępny w serwisie HuggingFace wraz z danymi dotyczącymi wydajności.Firmy planują wprowadzić ulepszenia w ramach „udoskonalania i testowania modelu” we współpracy z pracownikami służby zdrowia, aby zwiększyć jego możliwości i wydajność. " Na pytanie, czy sam zestaw danych zostanie udostępniony, firmy odpowiedziały ZDNET w e-mailu: „To jeszcze nie zostało ustalone”.
Dostrojenie przeprowadzono na Condor Galaxy, ogromnym komputerze AI, który Cerebras zbudował w tym roku dla G42 i który Cerebras nazywa „największym na świecie superkomputerem AI”. Według Cerebrasa „szybka konfiguracja i skrócony czas szkolenia były możliwe dzięki 82 terabajtom pamięci i 54 milionom rdzeni AI w 64 systemach Cerebras CS-2 wewnątrz CG-1”.
„To, co masz, to wszystkie te interesujące aplikacje uruchamiane na Condor Galaxy, a to zupełnie inny sprzęt niż jakikolwiek inny start-up” - powiedział Feldman. „Naprawdę popychamy branżę do przodu”.
Feldman zauważył w kolejnym e-mailu, że „Wszystkie parametry [Lamy 2] zostały dostrojone, a było to możliwe dzięki ogromnej pamięci dostępnej w Condor Galaxy 1 […] Konfiguracja i szkolenie dla 3 Epoch zostało zakończone w 5 dni, co w przypadku dużego klastra procesorów graficznych zajęłoby miesiące.”
W danych dotyczących wydajności w HuggingFace firmy zauważają, że „Med42 osiąga konkurencyjne wyniki w różnych medycznych testach porównawczych, w tym w tematach klinicznych MedQA, MedMCQA, PubMedQA, HeadQA i Measuring Massive Multitask Language Understanding (MMLU)”.
Według M42, podczas przykładowego egzaminu USMLE na licencję medyczną, program „osiąga dokładność na poziomie 72%”, co „przewyższa dotychczasowy stan wiedzy wśród ogólnodostępnych medycznych LLM”. Przewyższył także znacznie GPT 3.5 o zamkniętym kodzie źródłowym OpenAI, który uzyskał dokładność na poziomie 59,6%, chociaż Med42 nie dorównał dokładności GPT4 na poziomie 84,3%.
„Bierzesz bardzo duży, wstępnie wytrenowany model, taki jak Lama 2, 70 miliardów, i jeśli przyniesiesz do niego naprawdę interesujące, pionierskie zbiory danych, możesz sprawić, że będą robić naprawdę interesujące rzeczy i to w ułamku czasu, a pobór mocy na poziomie GPT 3.5” - powiedział Feldman.
Cerebras był ostatnio szczególnie aktywny w projektach open source. W marcu firma opublikowała jako open source kilka wersji programów generatywnej sztucznej inteligencji, z których można korzystać bez ograniczeń.
W sierpniu firma zaprezentowała najpotężniejszy na świecie arabskojęzyczny program LLM Jais-Chat jako program typu open source.
W tej chwili Med42 nie jest w produkcji. „Po pomyślnych testach Med42 zostanie udostępniony do wdrożenia klinicznego” - poinformowały firmy w e-mailu do ZDNET.
„Co ważne, Med42 będzie można wdrożyć lokalnie, w pełni dostosować do potrzeb podmiotów świadczących opiekę zdrowotną, korzystać z posiadanych źródeł danych i ograniczać możliwość włamań z zewnątrz” - dodali. „Naszym priorytetem jest bezpieczne zastosowanie technologii, a nie szybkość jej wprowadzenia do produkcji i jesteśmy zobowiązani do szczegółowej oceny bezpieczeństwa modelu przed jego wprowadzeniem na rynek”.