Google Gemini kontynuuje niebezpieczne zaciemnianie technologii AI

Brak ujawnień firmy, choć nie jest zaskakujący, jest bardziej uderzający przez jedno bardzo duże pominięcie: karty modeli. Dlatego.

Do tego roku można było wiele dowiedzieć się o technologii sztucznej inteligencji, po prostu czytając dokumentację badawczą publikowaną przez Google i innych liderów AI przy każdym nowym wydawanym przez nich programie. Otwarte ujawnianie informacji było normą w świecie sztucznej inteligencji.

Wszystko zmieniło się w marcu tego roku, kiedy OpenAI zdecydowało się ogłosić swój najnowszy program, GPT-4, prawie bez szczegółów technicznych. Artykuł badawczy dostarczony przez firmę przesłonił prawie każdy ważny szczegół GPT-4, który pozwoliłby naukowcom zrozumieć jego strukturę i podjąć próbę odtworzenia jego efektów.

W zeszłym tygodniu Google kontynuował to nowe podejście do zaciemniania, ogłaszając formalne wydanie swojego najnowszego programu generatywnej sztucznej inteligencji, Gemini, opracowanego we współpracy z jednostką DeepMind, która została zaprezentowana po raz pierwszy w maju. Badacze Google i DeepMind zamieścili na blogu post pozbawiony specyfikacji technicznych oraz towarzyszący mu raport techniczny, prawie całkowicie pozbawiony jakichkolwiek istotnych szczegółów technicznych.

Duża część wpisu na blogu i raportu technicznego przytacza szereg wyników testów porównawczych, przy czym Google przechwala się, że w większości pomiarów pobił GPT-4 OpenAI i pokonał poprzednią czołową sieć neuronową Google, PaLM.

Ani blog, ani dokument techniczny nie zawierają kluczowych szczegółów, które były zwyczajowo stosowane w poprzednich latach, takich jak liczba „parametrów” lub „wag” sieci neuronowej programu, co jest kluczowym aspektem jego projektu i funkcji. Zamiast tego Google wspomina o trzech wersjach Gemini w trzech różnych rozmiarach: „Ultra”, „Pro” i „Nano”. W artykule ujawniono, że Nano jest trenowany z użyciem dwóch różnych wag, 1,8 miliarda i 3,25 miliarda, nie ujawniając jednak wag pozostałych dwóch rozmiarów.

Brakuje wielu innych szczegółów technicznych, podobnie jak w przypadku dokumentu technicznego GPT-4 z OpenAI. Wobec braku szczegółów technicznych debata internetowa skupiła się na tym, czy przechwalanie się benchmarkami coś znaczy.

Badacz OpenAI, Rowan Zellers, napisał na X (wcześniej na Twitterze), że Gemini jest „niezwykle imponujące” i dodał: „Nie mam też dobrego wyczucia, jak bardzo ufać kilkunastu tekstowym testom porównawczym, o których podają wszystkie gazety LLM w te dni."

😂 ale mówiąc poważniej --
model Gemini robi ogromne wrażenie (nie mogę się doczekać, aby pobawić się nowymi aspektami multimodalności!)
Nie mam też dobrego wyczucia, na ile ufać temu modelowi kilkanaście tekstowych benchmarków, które w tych dniach podają wszystkie gazety LLM 😀

— Rowan Zellers (@rown) 7 grudnia 2023 r

Witryna z wiadomościami technicznymi Kyle Wiggers z TechCrunch donosi anegdoty o słabej wydajności wyszukiwarki Google Bard, wzmocnionej przez Gemini. Cytuje posty na X, których autorami są ludzie zadający Bardowi pytania, takie jak ciekawostki filmowe lub sugestie dotyczące słownictwa, oraz zgłaszający niepowodzenia.

Obrzucanie błotem jest częstym zjawiskiem przy wprowadzaniu nowej technologii lub produktu. Jednak w przeszłości szczegóły techniczne umożliwiały osobom z zewnątrz dokonanie bardziej świadomej oceny możliwości poprzez ocenę różnic technicznych między najnowszym programem a bezpośrednimi poprzednikami programu, takimi jak PaLM.

Z braku takich informacji oceny dokonywane są na chybił trafił, przez ludzi losowo wpisując coś do Barda.

Nagłe przejście do zachowania tajemnicy przez Google i OpenAI staje się poważnym problemem etycznym dla branży technologicznej, ponieważ nikt poza dostawcami - OpenAI i jego partnerem Microsoftem lub, w tym przypadku jednostką Google Cloud Google’a, nie wie, co się dzieje w czarnej skrzynce w swoich chmurach obliczeniowych.

W październiku uczeni Emanuele La Malfa z Uniwersytetu Oksfordzkiego i współpracownicy z Instytutu Alana Turinga i Uniwersytetu w Leeds ostrzegli, że niejasność GPT-4 i innych modeli „powoduje poważny problem” w zakresie sztucznej inteligencji dla społeczeństwa, a mianowicie: „najsilniejsze i najbardziej ryzykowne modele są jednocześnie najtrudniejsze do analizy”.

Brak ujawnień ze strony Google, choć nie jest zaskakujący, biorąc pod uwagę jego komercyjną walkę z OpenAI i partnerem Microsoft, o udział w rynku, jest jeszcze bardziej uderzający przez jedno bardzo istotne zaniedbanie: modele kart.

Karty modelowe są formą standardowego ujawniania informacji wykorzystywaną w sztucznej inteligencji do raportowania szczegółów sieci neuronowych, w tym potencjalnych szkód wyrządzonych przez program (mowa nienawiści itp.). Chociaż raport GPT-4 OpenAI pominął większość szczegółów, przynajmniej dał ukłon w stronę kart modelowych z sekcją „Karta systemowa GPT-4” w gazecie, która, jak stwierdzono, była inspirowana kartami modelowymi.

Google nawet tak daleko nie idzie, pomijając wszystko, co przypomina modele kart. To pominięcie jest szczególnie dziwne, biorąc pod uwagę, że modele kart zostały wynalezione w Google przez zespół, w skład którego wchodziła Margaret Mitchell, wcześniej współprzewodnicząca działu Ethical AI w Google, i były współprzewodniczący Timnit Gebru.

Zamiast kart modeli raport zawiera krótki, dość dziwaczny fragment na temat wdrożenia programu, zawierający niejasne sformułowania mówiące o konieczności posiadania kart modeli w pewnym momencie:

Po zakończeniu przeglądów tworzone są karty modeli ??? [podkreślenie Google] dla każdego zatwierdzonego modelu Gemini w celu ustrukturyzowanej i spójnej wewnętrznej dokumentacji dotyczącej kluczowych wskaźników wydajności i odpowiedzialności, a także w celu zapewnienia odpowiedniej komunikacji zewnętrznej na temat tych metryki w czasie.

Jeśli Google w swoich własnych ujawnieniach technicznych stawia znaki zapytania przy kartach modelowych, należy zadać sobie pytanie, jaka przyszłość czeka nadzór i bezpieczeństwo sieci neuronowych.