Cerebras i Abu Zabi budują najpotężniejszy na świecie arabskojęzyczny model sztucznej inteligencji
Zespół naukowców zebrał znacznie większy niż zwykle zbiór danych obejmujący teksty w języku arabskim, stosując genialne techniki uchwycenia niuansów tego języka.
Jais-Chat, nazwany na cześć najwyższej góry w Zjednoczonych Emiratach Arabskich, może skorzystać z podpowiedzi w języku arabskim lub angielskim i uzupełnić frazę, tak jak robi to ChatGPT.
W czasach, gdy rzekomo panuje moda na język, programy oparte na sztucznej inteligencji, takie jak ChatGPT, są wyraźnie ograniczone: zajmują się głównie językiem angielskim, z wyłączeniem setek innych powszechnie używanych języków na świecie.
Na znak tego, co ma nadejść, start-up komputerowy obsługujący sztuczną inteligencję Cerebras Systems ogłosił w tym tygodniu, że nawiązał współpracę z Inception z Abu Zabi, spółką zależną firmy inwestycyjnej G42 ze Zjednoczonych Emiratów Arabskich, w celu stworzenia, jak to nazywa, najpotężniejszego na świecie dużego języka o otwartym kodzie źródłowym. model języka arabskiego, którym posługuje się około 400 milionów ludzi na całym świecie.
Korzystanie z programu o nazwie Jais-Chat przypomina pisanie w wierszu zachęty Chat-GPT, z tą różnicą, że Jais-Chat może przyjmować i generować tekst w języku arabskim jako dane wejściowe i wyjściowe. Może na przykład napisać list po arabsku, gdy pojawi się monit w języku angielskim:
Może też przyjąć monit w języku arabskim i wygenerować odpowiedź w języku arabskim:
Program, szkolony na specjalnym zbiorze tekstów arabskich, znacznie większym niż powszechnie dostępny, unika typowego podejścia polegającego na budowaniu programu ogólnego, który obsługuje setki języków, w wielu przypadkach słabo, i zamiast tego skupia się wyłącznie na tłumaczeniach na język angielski i arabski.
Podczas wykonywania testów w języku arabskim sprawdzających wiedzę, rozumowanie i uprzedzenia - takich jak test MMLU Uniwersytetu Kalifornijskiego w Berkeley, zestaw pytań wielokrotnego wyboru oraz HellaSwag Instytutu Allena - zadanie polegające na dokończeniu zdania - Jais-Chat uzyskał pełne 10 punktów więcej niż wiodące, najnowocześniejsze modele językowe, takie jak LlaMA 2 firmy Meta. Pokonał czołowe programy typu open source, takie jak tegoroczny Bloom z Big Science Workshop, a także pokonał stworzone modele języków specjalistycznych wyłącznie dla języka arabskiego.
Jais-Chat osiąga lepsze wyniki w kilku testach w języku arabskim w porównaniu do znacznie większych modeli, takich jak LlaMA 2 firmy Meta.
„Wiele firm mówi o demokratyzacji sztucznej inteligencji” - powiedział Andrew Feldman, współzałożyciel i dyrektor generalny Cerebras, w wywiadzie dla ZDNET. „W tym miejscu dajemy głos 400 milionom osób mówiących po arabsku w zakresie sztucznej inteligencji, czyli demokratyzujemy sztuczną inteligencję. Jest to podstawowy język 25 narodów, więc pomyśleliśmy, że to niezwykły rodzaj projektu”.
Od pewnego czasu obserwuje się dysproporcje językowe w sztucznej inteligencji, którym poświęca się wiele uwagi. W ramach zeszłorocznego projektu Meta Properties pod hasłem „No Language Left Behind” (NLLB) naukowcy firmy starali się ulepszyć stan wiedzy w zakresie jednoczesnej obsługi 200 języków, ze szczególnym naciskiem na tak zwane języki „o niskich zasobach”, czyli te, które bez dużego zbioru tekstu online, który można wykorzystać do uczenia modeli.
Jak zauważyli autorzy Meta, badania w tej dziedzinie „wskazują, że chociaż tylko 25,9 procent użytkowników Internetu mówi po angielsku, 63,7 procent wszystkich stron internetowych jest w języku angielskim”.
„Prawda jest taka, że największe zbiory danych opierają się na przeszukiwaniu Internetu, a internet jest głównie w języku angielskim, a to naprawdę niefortunna sytuacja” - powiedział Feldman.
Próby wypełnienia luki językowej w sztucznej inteligencji zazwyczaj obejmowały ogólne programy sztucznej inteligencji, takie jak NLLB Meta. Programy nie wykazują jednak poprawy w przypadku wielu języków, w tym nie tylko języków o niskich zasobach, takich jak oromo (pochodzący z Etiopii i Kenii), ale nawet języków, w których przeważa materiał tłumaczeniowy, takich jak grecki i islandzki.
I tak zwane programy multimodalne, takie jak następca NLLB, SeamlessM4T firmy Meta, zaprezentowany w tym miesiącu, próbują wykonywać wiele różnych zadań w dziesiątkach języków, używając tylko jednego modelu, w tym transkrypcji tekstu na mowę i zamiany mowy na tekst Pokolenie. Może to obciążyć cały proces dodatkowymi celami.
Zamiast podejścia ogólnego lub multimodalnego, główna autorka Neha Sengupta z Inception wraz z zespołem Cerebras i naukowcami z Uniwersytetu Sztucznej Inteligencji Mohameda bin Zayeda w Zjednoczonych Emiratach Arabskich stworzyli program, który obejmuje wyłącznie naukę języka arabskiego i angielskiego razem.
Skonstruowali także specjalny zestaw danych obejmujący teksty w języku arabskim. Zebrali dane o wartości 55 miliardów tokenów z niezliczonych źródeł, takich jak Abu El-Khair - zbiór ponad 5 milionów artykułów z 14 lat z głównych źródeł wiadomości; arabskojęzyczna wersja Wikipedii; oraz transkrypcje Organizacji Narodów Zjednoczonych, między innymi.
Następnie, stosując podejście, które prawdopodobnie stanie się wzorowe w przypadku języków o mniejszych zasobach, autorom udało się zwiększyć dane szkoleniowe w języku arabskim z 55 miliardów oryginalnych tokenów do 72 miliardów, wykonując maszynowe tłumaczenie tekstów angielskich na arabski. Jak to opisują: „Dalej poszerzamy dane arabskie, tłumacząc 3 miliardy tokenów z angielskiej Wikipedii i 15 miliardów tokenów z korpusu Books3”.
Następnie autorzy 1,6-krotnie powiększyli próbkę tekstu w języku arabskim, dodatkowo zwiększając dane w języku arabskim do łącznej liczby 116 miliardów tokenów.
Autorzy przyjęli inne nowatorskie podejście: połączyli teksty w języku arabskim i angielskim z miliardami tokenów z fragmentów kodu komputerowego w różnych językach, zebranych z GitHub. Ostateczny zestaw danych składa się z 29% języka arabskiego, 59% języka angielskiego i 12% kodu.
Sengupta i zespół wykraczali poza proste wykorzystanie specjalnego zestawu danych. Zastosowali także kilka specjalnych technik do przedstawienia słownictwa języka arabskiego.
Naukowcy zbudowali własny „tokenizer”, algorytm umożliwiający cięcie tekstu na poszczególne jednostki. Typowy tokenizer używany przez programy takie jak GPT-3 „jest uczony głównie na korpusach angielskich”, piszą, w związku z czym popularne słowa arabskie „są nadmiernie podzielone na pojedyncze znaki, [co] obniża wydajność modelu i zwiększa koszt obliczeniowy .”
Zastosowali także najnowocześniejszy algorytm „osadzania” ALiBi, opracowany w zeszłym roku przez Allen Institute i Meta. Algorytm ten znacznie lepiej radzi sobie z bardzo długim kontekstem — to znaczy danymi wejściowymi do modelu językowego wpisywanymi w wierszu zachęty lub przywoływanymi z pamięci.
„Chcieliśmy uchwycić niuanse językowe w języku arabskim i odniesienia kulturowe” - powiedział Feldman, który spędził dużo czasu podróżując po Bliskim Wschodzie. „A to nie jest łatwe, gdy większość modelu jest w języku angielskim”.
W rezultacie, wzbogacony tymi i innymi modyfikacjami, powstał model językowy o nazwie Jais i towarzysząca mu aplikacja do czatowania Jais-Chat, mierzące 13 miliardów „parametrów”, czyli wag neuronowych, które tworzą krytyczne aktywne elementy sieci neuronowej. Jais bazuje na architekturze GPT-3 zaprojektowanej przez OpenAI, czyli tzw. wersji dekoderowej Google Transformera z 2017 roku.
Nazwa Jais pochodzi od góry Jebel Jais, według Wikipedii „uważanej za najwyższy punkt w Zjednoczonych Emiratach Arabskich, na wysokości 1892 m (6207 stóp) nad poziomem morza”. (Artykuł w języku arabskim).
Kod programu Jais jest udostępniany na licencji kodu źródłowego Apache 2.0 i można go pobrać na platformie Hugging Face. Z wersji demonstracyjnej Jais można skorzystać, dołączając do listy oczekujących. Według Feldmana autorzy planują upublicznić zbiór danych „w najbliższej przyszłości”.
Programy uruchamiano na czymś, co Cerebras nazywa „największym na świecie superkomputerem obsługującym sztuczną inteligencję”, o nazwie Condor Galaxy 1, który został zbudowany dla G42 i zaprezentowany w zeszłym miesiącu.
Maszyna składa się z 32 komputerów Cerebras ze sztuczną inteligencją specjalnego przeznaczenia, CS-2, których chipy zwane „Wafer-Scale-Engine” obejmują łącznie 27 milionów rdzeni obliczeniowych, 41 terabajtów pamięci i 194 bilionów bitów na sekundę szerokości pasma. Nadzorują je 36 352 procesory serwerowe AMD EPYC x86.
Naukowcy wykorzystali część tej pojemności, 16 maszyn, do szkolenia i „dostrajania” Jaisa.
Program przewyższa swoją wagę przy 13 miliardach parametrów. Jest to stosunkowo mała sieć neuronowa w porównaniu z takimi urządzeniami jak GPT-3 o 175 miliardach parametrów, a większe programy z większą liczbą parametrów są ogólnie postrzegane jako potężniejsze.
„Jego wstępnie wyszkolone i dostrojone możliwości przewyższają wszystkie znane modele arabskie typu open source” - piszą Sengupta i zespół - „i są porównywalne z najnowocześniejszymi modelami angielskimi typu open source, które zostały przeszkolone na większych zbiorach danych”.
Jak zauważają autorzy, oryginalny arabski zestaw danych składający się z 72 miliardów tokenów zwykle nie byłby wystarczający dla modelu większego niż 4 miliardy parametrów, zgodnie z praktyczną zasadą sztucznej inteligencji znaną jako Prawo szynszyli, sformułowaną przez badaczy z Google DeepMind.
W rzeczywistości Jais-Chat nie tylko w swojej najwyższej wersji LlAMA 2 o 13 miliardach parametrów i innych, w mniejszej wersji swojego programu z zaledwie 6,7 miliardami parametrów, jest także w stanie osiągnąć wyższe wyniki w tych samych standardowych testach, takich jak MMLU i HellaSwag.
Jais-Chat osiąga lepsze wyniki w kilku testach w języku arabskim w porównaniu do znacznie większych modeli, takich jak LlaMA 2 firmy Meta.
„Interesujące było to, że dzięki arabskiemu angielski stał się lepszy” - powiedział Feldman, odnosząc się do wyników Jaisa w ocenach. „Otrzymaliśmy model równie dobry jak LlaMA w języku angielskim, mimo że trenowaliśmy go na około jednej dziesiątej danych”.
Praca nie tylko ustanawia nowe wyniki testów porównawczych w języku arabskim, ale także radykalnie przyspiesza czas potrzebny na wyszkolenie takiego modelu w porównaniu do tego, co byłoby wymagane w przypadku standardowych układów GPU tego rodzaju, jakie sprzedaje Nvidia, dominujący dostawca sztucznej inteligencji.
Szacuje się, że rozdzielenie pracy i wyszkolenie Jaisa zajęłoby klasterowi GPU składającemu się z 512 węzłów od 60 do 100 dni, powiedział Cerebras, w porównaniu do zaledwie 21 dni w przypadku Condor Galaxy 1.
„Samo skonfigurowanie klastra GPU przed uruchomieniem modelu zajęłoby 20 dni” - zażartował Feldman. „A to niezwykle kosztowny klaster”.
Programy Jais to najnowsze z szeregu wkładów Cerebras w wysiłki na rzecz oprogramowania typu open source w następstwie OpenAI i Google ograniczania ich ujawniania. Inny program wyszkolony na Condor Galaxy 1, nazwany BTLM-3B-8K, jest obecnie modelem numer jeden w przypadku konfiguracji obejmującej 3 miliardy parametrów w Hugging Face i ma ponad milion pobrań, zauważył Feldman.
„Zbudowaliśmy superkomputer, ludzie z niego korzystają, popychamy społeczność open source do przodu” - powiedział Feldman - „to wszystko, co dobre”.