Naukowcy z Oksfordu ostrzegają, że niewiedza o tym, co OpenAI buduje w chmurze, wiąże się z dużym ryzykiem

Branża modeli językowych jako usług ukrywa najważniejsze szczegóły dotyczące niezawodności i wiarygodności, ostrzega raport Uniwersytetu Oksfordzkiego i jego współpracowników.

Jednym z przełomowych wydarzeń w dziedzinie sztucznej inteligencji (AI) w 2023 r. była decyzja OpenAI, twórcy ChatGPT, o nieujawnianiu prawie żadnych informacji na temat swojego najnowszego modelu wielkojęzykowego (LLM), GPT-4, kiedy firma wprowadziła program w Marsz.

To nagłe przejście w stronę tajemnicy staje się poważnym problemem etycznym dla branży technologicznej, ponieważ nikt poza OpenAI i jej partnerem Microsoftem nie wie, co dzieje się w czarnej skrzynce w ich chmurze obliczeniowej.

Zaciemnianie jest tematem raportu opublikowanego w tym miesiącu przez naukowców Emanuele La Malfę z Uniwersytetu Oksfordzkiego i współpracowników z Instytutu Alana Turinga i Uniwersytetu w Leeds.

W artykule opublikowanym na serwerze pre-print arXiv La Malfa i współpracownicy badają zjawisko „modeli językowych jako usługi” (LMaaS), odnoszące się do LLM hostowanych online za interfejsem użytkownika lub za pośrednictwem interfejsu API. Podstawowymi przykładami tego podejścia są ChatGPT i GPT-4 OpenAI.

„Nacisk komercyjny doprowadził do rozwoju dużych, wydajnych LM [modeli językowych], dostępnych wyłącznie jako usługa dla klientów, które zwracają ciągi znaków lub tokeny w odpowiedzi na tekst wprowadzony przez użytkownika - ale w przypadku których informacje na temat architektury, implementacji nie jest dostępna procedura szkoleniowa ani dane treningowe, nie jest też dostępna możliwość sprawdzenia lub modyfikacji jej stanów wewnętrznych” - piszą autorzy.

Różnice między modelami języka open source a LMaaS. Użytkownik programów typu open source ma pełną kontrolę, podczas gdy klienci usługi LMaaS muszą zadowolić się tym, co otrzymują za pośrednictwem przeglądarki lub interfejsu API.

Te ograniczenia dostępu „wrodzone LMaaS, w połączeniu z ich czarnym skrzynkowym charakterem, stoją w sprzeczności z potrzebą społeczeństwa i społeczności badawczej, aby lepiej je rozumieć, ufać i kontrolować” - zauważają. „Powoduje to poważny problem w istocie tej dziedziny: najskuteczniejsze i ryzykowne modele są również najtrudniejsze do analizy”.

Na problem wskazywało wiele stron, w tym konkurenci OpenAI, zwłaszcza ci, którzy opierają się na kodzie open source, aby pokonać kod zamknięty. Na przykład Emad Mostaque, dyrektor generalny startupu Stability.ai zajmującego się generatywną sztuczną inteligencją, który produkuje narzędzia takie jak generator obrazów Stable Diffusion, powiedział, że żadne przedsiębiorstwo nie może ufać programom o zamkniętym kodzie źródłowym, takim jak GPT-4.

„Otwarte modele będą niezbędne w przypadku prywatnych danych” - powiedział Mostaque podczas małego spotkania prasy i kadry kierowniczej w maju. „Musisz wiedzieć wszystko, co jest w środku; te modele są tak potężne”.

La Malfa i zespół przeglądają literaturę na temat różnych modeli językowych i identyfikują, w jaki sposób zaciemnianie uniemożliwia audyt programów pod kątem czterech kluczowych czynników: dostępności, powtarzalności, porównywalności i wiarygodności.

Autorzy zauważają, że obawy te stanowią nowy rozwój w etyce sztucznej inteligencji: „Kwestie te są specyficzne dla paradygmatu LMaaS i różnią się od istniejących wcześniej obaw związanych z modelami językowymi”.

Dostępność dotyczy kwestii utrzymywania kodu w tajemnicy, co, jak twierdzą autorzy, przynosi nieproporcjonalne korzyści ogromnym firmom dysponującym ogromnymi budżetami na badania i rozwój.

„W sytuacji, gdy moc obliczeniowa jest nierównomiernie rozłożona i skoncentrowana w niewielkiej liczbie firm” - piszą - „przedsiębiorstwa posiadające przewagę technologiczną, a nie obliczeniową, stają przed dylematem: chociaż open source ich LMaaS przyniosłoby im korzyści pod względem ekspozycji rynkowej i wkład społeczności w bazę kodu, wydanie kodu obsługującego model może szybko zniszczyć ich przewagę konkurencyjną na korzyść graczy z większymi zasobami obliczeniowymi.

Ponadto jednolite ceny programów LMaaS oznaczają, że mieszkańcy mniej rozwiniętych gospodarek znajdują się w niekorzystnej sytuacji pod względem dostępu do narzędzi. „Punktem wyjścia do złagodzenia tych problemów jest zatem analiza wpływu LMaaS i, bardziej ogólnie, usług sztucznej inteligencji płatnych za użycie jako samodzielnej, wszechobecnej i przełomowej technologii” - sugerują.

Inną kwestią są rosnące luki w sposobie szkolenia LLM: programy komercyjne mogą ponownie wykorzystywać podpowiedzi klientów i tym samym odróżniają się od programów wykorzystujących wyłącznie dane publiczne - zauważają autorzy.

Piszą, że komercyjne licencje LMaaS „przyznają firmom prawo do korzystania z podpowiedzi w celu świadczenia, utrzymywania i ulepszania swoich usług”, tak więc nie ma wspólnej podstawy danych szkoleniowych, z której wszyscy mogliby czerpać.

Oferują wykres (poniżej), który ocenia rozbieżności w tym, czy modele językowe zbierają podpowiedzi klientów dotyczące szkolenia i „dostrajania”, co jest etapem, który w niektórych przypadkach zwiększa możliwości modelu językowego, oraz czy pozwalają użytkownikom zrezygnować.

Porównanie tego, czy modele językowe oferują swoim klientom możliwość rezygnacji w odniesieniu do danych oraz czy wykorzystują oni dane do szkolenia i dostrajania swoich modeli czarnej skrzynki.

Po szczegółowym opisaniu różnych zagrożeń La Malfa i zespół proponują „wstępny program” dotyczący czterech obszarów, wzywając: „musimy pracować jako społeczność, aby znaleźć rozwiązania, które umożliwią badaczom, decydentom i członkom społeczeństwa zaufanie LMaaS.”

Po pierwsze, zalecają, aby „firmy udostępniły kod źródłowy” swoich programów LMaaS, jeśli nie ogółowi społeczeństwa, to „LMaaS powinien być przynajmniej dostępny dla audytorów/ewaluatorów/czerwonych zespołów z ograniczeniami w zakresie udostępniania”.

Proponują, że firmy nie powinny całkowicie rezygnować ze starszych modeli językowych na rzecz nowych. Lub przynajmniej „wszystkie parametry tworzące model powinny być zahaszowane, a opiekunowie modelu powinni udostępniać użytkownikowi dziennik„ zatwierdzeń modelu ”, gdy opiekun aktualizuje model”. A dziedzina, w tym czasopisma i konferencje, powinna „zniechęcać do korzystania z modeli”, które nie stosują takich środków ostrożności.

Do celów testów porównawczych należy opracować narzędzia testujące, jakie elementy LMaaS przetrawił ze swoich podpowiedzi, aby można było dokładnie ustalić punkt odniesienia.

Najwyraźniej dzięki LMaaS temat etyki sztucznej inteligencji wszedł w nową fazę, w której najważniejsze informacje są trzymane pod kluczem, przez co wybory etyczne stają się dla wszystkich trudniejszą sprawą niż w przeszłości.