Nowa inicjatywa badawcza ma na celu zbudowanie wielkojęzykowego modelu sztucznej inteligencji dla Azji Południowo-Wschodniej
Singapur inwestuje 52 miliony dolarów w wysiłki mające na celu opracowanie dużego modelu językowego, różniącego się od modeli krajów zachodnich.
Trwa nowa inicjatywa badawcza mająca na celu zbudowanie dużego modelu językowego (LLM), który lepiej odpowiada demografii krajów Azji Południowo-Wschodniej.
Inicjatywa, nazwana Narodowym Multimodalnym Programem LLM, jest prowadzona przez Singapur i ma na celu opracowanie dużego modelu językowego sztucznej inteligencji (AI), który będzie wspierał różnorodną mieszankę kulturową i językową regionu.
Trzy agencje rządowe — Infocomm Media Development Authority (IMDA), AI Singapore (AISG) oraz Agencja ds. Nauki, Technologii i Badań (A*STAR) — współpracowały przy uruchomieniu programu badawczego, którego fundusze wyniosły 70 mln dolarów australijskich ( 52,48 miliona dolarów) od National Research Foundation.
„Ponieważ technologia szybko się rozwija, istnieje strategiczna potrzeba rozwijania suwerennych zdolności w LLM” - stwierdziły agencje we wspólnym oświadczeniu. „Lokalne i regionalne kultury, wartości i normy Singapuru oraz regionu różnią się od tych w krajach zachodnich, skąd wywodzi się większość dużych modeli językowych”.
Podkreślili znaczenie rozwoju multimodalnych i zlokalizowanych LLM dla Azji Południowo-Wschodniej, w tym Singapuru, które rozumieją kontekst i wartości związane z różnorodnymi kulturami i językami regionu. Te zmienności mogą obejmować na przykład przełączanie kontekstu między językami w wielojęzycznej populacji Singapuru.
Inicjatywa badawcza wykorzysta wysokowydajne zasoby obliczeniowe Narodowego Centrum Superkomputerowego w Singapurze i będzie miała na celu rozwój krajowych możliwości badawczych i inżynieryjnych w zakresie multimodalnych LLM.
„Ten ogólnokrajowy wysiłek podkreśla zaangażowanie Singapuru, by stać się globalnym centrum sztucznej inteligencji” - powiedział Ong Chen Hui, zastępca dyrektora generalnego IMDA w grupie biztech. „Język jest niezbędnym czynnikiem umożliwiającym współpracę. Inwestując w talenty i inwestując w wielkojęzykowe modele sztucznej inteligencji dla języków regionalnych, chcemy wspierać współpracę branżową ponad granicami i napędzać kolejną falę innowacji w zakresie sztucznej inteligencji w Azji Południowo-Wschodniej”.
Inicjatywa będzie opierać się na bieżących wysiłkach firmy AISG Southeast Asian Languages in One Network (SEA-LION), która jest rozwiązaniem LLM o otwartym kodzie źródłowym, które według agencji rządowej ma być mniejsze, elastyczne i szybsze w porównaniu z programami LLM dostępnymi obecnie na rynku . SEA-LION działa obecnie w oparciu o dwa modele podstawowe: model o trzech miliardach parametrów i model o siedmiu miliardach parametrów.
Opowiadając o znaczeniu modelu open source, AISG stwierdziło: „Istniejące LLM wykazują silne stronniczość w zakresie wartości kulturowych, przekonań politycznych i postaw społecznych. Wynika to z danych szkoleniowych, zwłaszcza tych pobranych z Internetu, które często ma nieproporcjonalnie duże pochodzenie oparte na WEIRD. WEIRD odnosi się do zachodnich, wykształconych, uprzemysłowionych, bogatych i demokratycznych społeczeństw. Osoby o innym niż WEIRD pochodzeniu rzadziej posiadają umiejętności czytania i pisania, korzystania z Internetu i łatwego dostępu do ich twórczości.
SEA-LION ma na celu ustanowienie LLM, które lepiej reprezentują „niedziwne” populacje. Jego dane szkoleniowe obejmują 981 miliardów tokenów językowych, które AISG definiuje jako fragmenty słów utworzone w wyniku podziału tekstu w procesie tokenizacji. Fragmenty te obejmują 623 miliardy tokenów angielskich, 128 miliardów tokenów z Azji Południowo-Wschodniej i 91 miliardów tokenów chińskich.
Wysiłki na rzecz budowy zlokalizowanych ośrodków LLM są częścią najnowszej strategii Singapuru w zakresie sztucznej inteligencji, która ma na celu urzeczywistnienie jego ambicji bycia globalnym centrum rozwoju rozwiązań AI do 2030 r. Wysiłki te obejmują plany potrojenia liczby specjalistów w dziedzinie sztucznej inteligencji w kraju do 15 000 w ciągu najbliższego roku trzech do pięciu lat oraz zapewnienie ekosystemu wspierającego zarządzanie, testowanie i porównywanie, a także wytyczne dotyczące etyki i bezpieczeństwa dotyczące sztucznej inteligencji.
Zauważając, że wraz z ostatnimi osiągnięciami w dziedzinie sztucznej inteligencji świat wkracza na niezbadane terytorium, wicepremier Singapuru Lawrence Wong powiedział podczas inauguracji krajowej strategii dotyczącej sztucznej inteligencji: „Do tej pory sztuczna inteligencja skupiała się głównie na rozpoznawaniu wzorców. Jednak w przyszłości będziemy mieć systemy sztucznej inteligencji wyposażone w sprawczość i zdolności transakcyjne. Będziemy mieć maszyny o zdolnościach poznawczych podobnych do ludzkich oraz zdolności do samoświadomości i niezależnego podejmowania decyzji”.
Ponieważ sztuczna inteligencja może znacząco zmienić życie ludzkie i wpłynąć na społeczeństwa, odpowiedzialny rozwój i wdrażanie sztucznej inteligencji powinno być prowadzone w sposób bardziej przemyślany, powiedział Wong.