Jeśli Twój kod wygenerowany przez sztuczną inteligencję stanie się wadliwy, kto jest najbardziej narażony na odpowiedzialność?
Krótka historia najnowszych osiągnięć w dziedzinie sztucznej inteligencji, co one oznaczają i dlaczego powinieneś się tym przejmować - lub nie.
Zalew nowych modeli sztucznej inteligencji wydanych przez takie firmy jak DeepMind, Google, Meta i OpenAI nasila się. Każdy z nich jest w jakiś sposób inny, każdy z nich odnawia rozmowę o swoich osiągnięciach, zastosowaniach i implikacjach.
Imagen, podobnie jak DALLE-2, Gato, GPT-3 i inne modele AI przed nimi, robią wrażenie, ale może nie z powodów, o których myślisz. Oto krótki opis tego, na jakim etapie wyścigu SI się znajdujemy i czego nauczyliśmy się do tej pory.
Mocne i słabe strony dużych modeli językowych
W tym tempie coraz trudniej jest nawet śledzić wydania, nie mówiąc już o ich analizowaniu. Zacznijmy tę swego rodzaju oś czasu od GPT-3. Wybieramy GPT-3 jako punkt odniesienia i punkt wyjścia dla tej osi czasu z wielu powodów.
Powstanie OpenAI zostało ogłoszone w maju 2020 roku, co już wygląda jak całe życie temu. To wystarczająco dużo czasu, aby OpenAI stworzyło komercyjną usługę wokół GPT-3, udostępniając ją jako API poprzez partnerstwo z Microsoftem.
Obecnie rośnie liczba aplikacji, które wykorzystują GPT-3 pod maską, aby oferować usługi użytkownikom końcowym. Niektóre z tych aplikacji to niewiele więcej niż gloryfikowane generatory tekstów marketingowych - cienkie opakowania wokół API GPT-3. Inne, takie jak Viable, dostosowały GPT-3, aby dostosować go do swoich potrzeb i ominąć jego wady.
GPT-3 to duży model językowy (LLM), przy czym "duży" odnosi się do liczby parametrów, które zawiera model. Obecnie wśród ekspertów od AI panuje zgoda co do tego, że im większy model, czyli im więcej parametrów, tym lepiej będzie się spisywał. Jako punkt odniesienia zauważmy, że GPT-3 ma 175 miliardów parametrów, podczas gdy, kultowy LLM wydany przez Google w 2018 roku i używany dziś do zasilania jego wyszukiwarki, miał 110 milionów parametrów.
Pomysł na LLM jest prosty: wykorzystanie ogromnych zbiorów danych wiedzy tworzonej przez człowieka do trenowania algorytmów uczenia maszynowego, w celu stworzenia modeli symulujących sposób, w jaki ludzie używają języka. Fakt, że GPT-3 jest udostępniany szerszemu gronu odbiorców, a także wykorzystywany komercyjnie, sprawił, że stał się celem zarówno pochwał, jak i krytyki.
Jak napisał Steven Johnson w The New York Times, GPT-3 może "pisać oryginalną prozę z zadziwiającą płynnością". Wydaje się, że to kusi ludzi, w tym Johnsona, do zastanowienia się, czy rzeczywiście istnieje "duch w skorupie". Wydaje się, że GPT-3 manipuluje pojęciami wyższego rzędu i umieszcza je w nowych kombinacjach, a nie tylko naśladuje wzorce tekstu, pisze Johnson. Słowem kluczowym jest tu jednak "wydaje się".
Krytycy, tacy jak Gary Marcus, Gary N. Smith i Emily Bender, z których niektórzy również cytują Johnsona, wskazywali na fundamentalne wady GPT-3 na najbardziej podstawowym poziomie. Używając słów, których Bender i jej współautorzy użyli do zatytułowania słynnego już artykułu naukowego, który doprowadził do wyrzucenia Timnita Gebru i Margeret Mitchell z Google, LLM to "stochastyczne papugi".
Mechanizm, za pomocą którego LLM przewidują słowo po słowie, aby uzyskać swoją prozę, jest zasadniczo regurgitacją, pisze Marcus, cytując swoją wymianę zdań z uznanym językoznawcą Noamem Chomskym. Takie systemy, jak wyjaśnia Marcus, są trenowane na dosłownie miliardach słów tekstu cyfrowego; Ich dar polega na znajdowaniu wzorców, które pasują do tego, na czym zostali przeszkoleni. Jest to doskonały wyczyn statystyczny, ale nie taki, który oznacza na przykład, że system wie, co oznaczają słowa, których używa jako narzędzi predykcyjnych.
Czy częstotliwość występowania języka i cechy takie jak polisemia mogą wpływać na to, czy sieć neuronowa może nagle rozwiązywać zadania, do których nie została specjalnie opracowana, znane jako "uczenie się w kilku ujęciach"? DeepMind twierdzi, że tak.
Innym nurtem krytyki skierowanym przeciwko GPT-3 i innym LLM jest to, że wyniki, które produkują, często wykazują toksyczność i powielają uprzedzenia etniczne, rasowe i inne. Nie jest to niespodzianką, biorąc pod uwagę, skąd pochodzą dane używane do szkolenia LLM: wszystkie dane są generowane przez ludzi i w dużej mierze zostały zebrane z sieci. Jeśli nie zostaną podjęte działania naprawcze, można się spodziewać, że LLM wygenerują takie wyniki.
Wreszcie, LLM wymagają wielu zasobów do szkolenia i obsługi. Aforyzm Chomsky'ego na temat GPT-3 mówi, że "jego jedynym osiągnięciem jest zużycie dużej ilości energii Kalifornii". Ale Chomsky nie jest osamotniony w zwróceniu na to uwagi. W 2022 roku firma DeepMind opublikowała artykuł "Training Compute-Optimal Large Language Models", w którym analitycy twierdzą, że szkolenie LLM zostało wykonane przy głęboko nieoptymalnym wykorzystaniu mocy obliczeniowej.
To powiedziawszy, GPT-3 to w pewnym sensie stara wiadomość. W ciągu ostatnich kilku miesięcy ogłoszono wiele nowych LLM. W październiku 2021 roku Microsoft i Nvidia ogłosiły Megatron - Turing NLG z 530 miliardami parametrów. W grudniu 2021 roku DeepMind ogłosił Gopher z 280 miliardami parametrów, a Google ogłosił GLaM z 1,2 biliona parametrów.
W styczniu 2022 roku Google ogłosił LaMDA ze 137 miliardami parametrów. W kwietniu 2022 roku DeepMind ogłosił Chinchilla z 70 miliardami parametrów, a Google ogłosił PaLM z 540 miliardami parametrów. W maju 2022 roku Meta ogłosiła OPT-175B ze 175 miliardami parametrów.
Niezależnie od tego, czy chodzi o rozmiar, wydajność, efektywność, przezroczystość, kompozycję zestawu danych treningowych czy nowość, każdy z tych LLM jest pod pewnymi względami niezwykły i wyjątkowy. Podczas gdy większość z tych LLM pozostaje niedostępna dla ogółu społeczeństwa, wtajemniczeni od czasu do czasu lirycznie wypowiadali się na temat rzekomej zdolności tych modeli do "zrozumienia" języka. Takie twierdzenia wydają się jednak nieco przesadzone.
Przesuwanie granic sztucznej inteligencji poza język
Chociaż LLM przeszły długą drogę pod względem możliwości skalowania i jakości wyników, które wytwarzają, ich podstawowe założenia pozostają takie same. W rezultacie ich fundamentalne słabości również pozostają takie same. Jednak LLM nie są jedyną grą w mieście, jeśli chodzi o najnowocześniejszą sztuczną inteligencję.
Podczas gdy LLM koncentrują się na przetwarzaniu danych tekstowych, istnieją inne modele sztucznej inteligencji, które koncentrują się na danych wizualnych i dźwiękowych. Są one wykorzystywane w aplikacjach, takich jak widzenie komputerowe i rozpoznawanie mowy. Jednak w ciągu ostatnich kilku lat doszło do zatarcia granic między modalnościami modelowania AI.
Tak zwane uczenie multimodalne polega na konsolidacji niezależnych danych z różnych źródeł w jeden model AI. Nadzieją na opracowanie multimodalnych modeli sztucznej inteligencji jest możliwość przetwarzania wielu zestawów danych przy użyciu metod opartych na uczeniu się w celu generowania bardziej inteligentnych spostrzeżeń.
OpenAI identyfikuje multimodalność jako długoterminowy cel w sztucznej inteligencji i jest bardzo aktywny w tej dziedzinie. W swoich najnowszych ogłoszeniach badawczych OpenAI przedstawia dwa modele, które według niego przybliżają ten cel.
Pierwszy model sztucznej inteligencji, DALL· E, został ogłoszony w styczniu 2021 roku. OpenAI zauważa, że DALL-E może z powodzeniem przekształcić tekst w odpowiedni obraz dla szerokiego zakresu pojęć wyrażonych w języku naturalnym i wykorzystuje to samo podejście, co w przypadku GPT-3.
Drugi model sztucznej inteligencji, CLIP, również ogłoszony w styczniu 2021 r., może natychmiast sklasyfikować obraz jako należący do jednej z predefiniowanych kategorii w sposób "zero-shot". CLIP nie musi być dostrajany do danych specyficznych dla tych kategorii, tak jak robi to większość innych wizualnych modeli sztucznej inteligencji, jednocześnie przewyższając je w branżowym benchmarku ImageNet.
W kwietniu 2022 r. OpenAI ogłosiło DALL· E 2. Firma zauważa, że w porównaniu do swojego poprzednika, DALL-E 2 generuje bardziej realistyczne i dokładne obrazy o 4-krotnie większej rozdzielczości.
W maju 2022 roku Google ogłosił swój własny multimodalny model sztucznej inteligencji analogiczny do DALL-E, o nazwie Imagen. Badania Google pokazują, że oceniający preferują Imagen od innych modeli w porównaniach obok siebie, zarówno pod względem jakości próbki, jak i wyrównania obrazu i tekstu.
Kultowy już obraz astronauty jadącego na koniu w DALL-E 2 został okrzyknięty "kamieniem milowym w podróży sztucznej inteligencji do zrozumienia świata". Krytycy twierdzą, że może to być przesada.
Wydawałoby się, że prawo do przechwałek ciągle się zmienia. Jeśli chodzi o to, czy te multimodalne modele sztucznej inteligencji robią cokolwiek, aby odpowiedzieć na krytykę dotyczącą wykorzystania zasobów i stronniczości, chociaż w tym momencie nie wiadomo zbyt wiele, w oparciu o to, co wiadomo, odpowiedzi wydają się brzmieć odpowiednio "prawdopodobnie nie" i "w pewnym sensie". A co z właściwą częścią wywiadowczą? Zajrzyjmy na chwilę pod maskę.
OpenAI zauważa, że "DALL· E 2 nauczył się relacji między obrazami a tekstem używanym do ich opisywania. Wykorzystuje proces zwany "dyfuzją", który zaczyna się od wzoru losowych kropek i stopniowo zmienia ten wzór w kierunku obrazu, gdy rozpoznaje określone aspekty tego obrazu".
Google zauważa, że ich "kluczowym odkryciem jest to, że ogólne LLM (np. T5), wstępnie wytrenowane na korpusach tekstowych, są zaskakująco skuteczne w kodowaniu tekstu do syntezy obrazu: zwiększenie rozmiaru modelu językowego w Imagen zwiększa zarówno wierność próbki, jak i wyrównanie obrazu do tekstu znacznie bardziej niż zwiększenie rozmiaru modelu dyfuzji obrazu".
Podczas gdy Imagen wydaje się w dużym stopniu polegać na LLM, proces jest inny w przypadku DALL-E 2. Jednak zarówno ludzie z OpenAI, jak i Google, a także niezależni eksperci twierdzą, że modele te pokazują formę "zrozumienia", która pokrywa się z ludzkim zrozumieniem. Przegląd MIT Technology posunął się nawet do nazwania astronauty jeżdżącego konno, obrazu, który stał się ikoną dla DALL-E 2, kamieniem milowym w podróży sztucznej inteligencji do zrozumienia świata.
Gary Marcus pozostaje jednak nieprzekonany. Marcus, naukowiec, autor bestsellerów i przedsiębiorca, jest dobrze znany w kręgach sztucznej inteligencji ze swojej krytyki wielu tematów, w tym natury inteligencji i tego, co jest nie tak z głębokim uczeniem. Szybko zwrócił uwagę na braki zarówno w DALL-E 2, jak i Imagen, a także zaangażował się w dialog publiczny, w tym z ludźmi z Google.
Marcus dzieli się swoimi spostrzeżeniami w trafnie zatytułowanym eseju "Koń jeździ na astronautach". Jego wniosek jest taki, że oczekiwanie, że modele te będą w pełni wrażliwe na semantykę w odniesieniu do struktury syntaktycznej, jest myśleniem życzeniowym, a niezdolność do rozumowania jest ogólnym punktem słabości nowoczesnych metod uczenia maszynowego i kluczowym miejscem do poszukiwania nowych pomysłów.
Wreszcie, w maju 2022 r. firma DeepMind ogłosiła Gato, ogólny model sztucznej inteligencji. Jak zauważa Tiernan Ray z ZDNet, Gato to inny rodzaj multimodalnego modelu sztucznej inteligencji. Gato może pracować z wieloma rodzajami danych, aby wykonywać wiele rodzajów zadań, takich jak granie w gry wideo, czatowanie, pisanie kompozycji, podpisywanie zdjęć i kontrolowanie bloków układania ramion robota.
Jak zauważa Ray, Gato radzi sobie z wieloma rzeczami. Nie powstrzymało to jednak ludzi z zespołu DeepMind, który zbudował Gato, przed wykrzyknięciem: "Gra się skończyła! Chodzi o to, aby te modele były większe, bezpieczniejsze, wydajniejsze obliczeniowo, szybsze w próbkowaniu, inteligentniejsze pamięci, miały więcej modalności".
Język, cele i siła rynkowa nielicznych
Dokąd nas to wszystko prowadzi? Odkładając na bok szum medialny, metafizyczne przekonania i wybuchy entuzjazmu, obecny stan sztucznej inteligencji należy badać z trzeźwością. Podczas gdy modele, które zostały wydane w ciągu ostatnich kilku miesięcy, są naprawdę imponującymi osiągnięciami inżynierii i czasami są w stanie uzyskać niesamowite wyniki, inteligencja, na którą wskazują, nie jest tak naprawdę sztuczna.
Ludzka inteligencja stoi za imponującą inżynierią, która generuje te modele. To ludzka inteligencja zbudowała modele, które stają się coraz lepsze w tym, co Alan Turing nazwał "grą imitacji", którą stała się popularnie znana jako "test Turinga".
Jak pisze Emily Tucker , dyrektor wykonawcza Center on Privacy & Technology (CPT) w Georgetown Law, Turing zastąpił pytanie "czy maszyny mogą myśleć?" pytaniem, czy człowiek może pomylić komputer z innym człowiekiem.
Turing nie proponuje tego ostatniego pytania w duchu pomocnej heurystyki dla pierwszego pytania; Nie mówi, że uważa, iż te dwa pytania są wersjami siebie nawzajem. Wyraża on raczej przekonanie, że pytanie "czy maszyny mogą myśleć?" nie ma żadnej wartości i wydaje się mieć nadzieję na niedaleką przyszłość, w której istotom ludzkim jest w rzeczywistości bardzo trudno, jeśli nie niemożliwie, zadać sobie to pytanie.
Pod pewnymi względami ta przyszłość może zbliżać się wielkimi krokami. Modele takie jak Imagen i DALL-E załamują się, gdy pojawiają się podpowiedzi, które wymagają inteligencji w rodzaju tej, którą ludzie posiadają, aby je przetworzyć. Jednak w większości przypadków można je uznać za przypadki brzegowe. To, co DALL-E na świecie są w stanie wygenerować, jest na równi z najbardziej wykwalifikowanymi artystami.
Pytanie brzmi więc, jaki jest cel tego wszystkiego. Jako cel sam w sobie, poświęcanie czasu i zasobów, których wymaga coś takiego jak Imagen, aby móc generować fajne obrazy do woli, wydaje się raczej nie na miejscu.
Postrzeganie tego jako celu pośredniego na drodze do stworzenia "prawdziwej" sztucznej inteligencji może być bardziej uzasadnione, ale tylko wtedy, gdy jesteśmy skłonni podpisać się pod poglądem, że robienie tego samego na coraz większą skalę w jakiś sposób doprowadzi do różnych rezultatów.
Sieć neuronowa przekształca dane wejściowe, okręgi po lewej stronie, w dane wyjściowe po prawej. Dzieje się tak w przypadku transformacji wag, środka, którą często mylimy z wzorcami w samych danych.
W tym świetle wyrażony przez Tuckera zamiar jak najdokładniejszego określenia, czym jest dana technologia i jak działa, zamiast używania terminów takich jak "sztuczna inteligencja i uczenie maszynowe", zaczyna nabierać sensu na pewnym poziomie.
Na przykład, pisze Tucker, zamiast mówić "rozpoznawanie twarzy wykorzystuje sztuczną inteligencję", możemy powiedzieć coś w stylu "firmy technologiczne używają ogromnych zbiorów danych do trenowania algorytmów dopasowywania obrazów ludzkich twarzy". Tam, gdzie pełne wyjaśnienie zakłóca szerszy spór lub wykracza poza wiedzę specjalistyczną CPT, kierują czytelników do źródeł zewnętrznych.
Prawdę mówiąc, nie brzmi to zbyt praktycznie, jeśli chodzi o czytelność. Warto jednak pamiętać, że kiedy mówimy "sztuczna inteligencja", tak naprawdę jest to konwencja, a nie coś, co należy brać za dobrą monetę. To naprawdę firmy technologiczne wykorzystują ogromne zbiory danych do trenowania algorytmów, aby wykonywały -- czasami użyteczne i/lub imponujące -- imitacje ludzkiej inteligencji.
Co nieuchronnie prowadzi do kolejnych pytań, takich jak -- co zrobić i dla czyjej korzyści. Jak pisze Erik Brynjolfsson, ekonomista z wykształcenia i dyrektor Stanford Digital Economy Lab , nadmierne skupienie się na sztucznej inteligencji podobnej do ludzkiej obniża płace większości ludzi, "nawet jeśli wzmacnia siłę rynkową nielicznych", którzy są właścicielami i kontrolują technologie.
Pod tym względem sztuczna inteligencja nie różni się od innych technologii, które ją poprzedzały. To, co tym razem może być inne, to szybkość, z jaką rzeczy się rozwijają, i stopień wzmocnienia mocy nielicznych.