Sprawdziłem fakty na ChatGPT z Bardem, Claudem i Copilotem - i ta sztuczna inteligencja była z całą pewnością błędna

Błądzić jest rzeczą ludzką i najwyraźniej także sztuczną inteligencją.

Generatywna sztuczna inteligencja (AI) jest notorycznie podatna na błędy rzeczowe. Co więc robisz, gdy poprosisz ChatGPT o wygenerowanie 150 przypuszczalnych faktów, a nie chcesz spędzać całego weekendu na ręcznym potwierdzaniu każdego z nich?

Cóż, w moim przypadku zwróciłem się do innych AI. W tym artykule wyjaśnię projekt, rozważę, jak każda sztuczna inteligencja spisała się w rozgrywce polegającej na sprawdzaniu faktów, a także przedstawię kilka końcowych przemyśleń i przestróg, jeśli ty również chcesz zapuścić się w ten labirynt krętych, małych fragmentów, które są do siebie podobne.

Projekt

W zeszłym tygodniu opublikowaliśmy bardzo zabawny projekt, w którym DALL-E 3, działający w ChatGPT, generuje 50 malowniczych obrazów, które według niego reprezentują każdy stan USA. Miałem też listę ChatGPT „trzy najciekawsze fakty, jakie znasz o stanie”. Wyniki były, jak ujął to mój redaktor w tytule artykułu, „wspaniale dziwne”.

ChatGPT umieścił most Golden Gate gdzieś w Kanadzie. Narzędzie umieściło Lady Liberty zarówno w środkowo-zachodnich Stanach Zjednoczonych, jak i gdzieś na wyspie Manhattan. I wygenerowało dwa Empire State Buildings. Krótko mówiąc, ChatGPT włączyło swój abstrakcyjny ekspresjonizm, ale rezultaty były całkiem fajne.

Jeśli chodzi o poszczególne fakty, w większości się zgadzały. Jestem całkiem dobry w geografii i historii Stanów Zjednoczonych i pomyślałem, że niewiele faktów wygenerowanych przez ChatGPT wyróżnia się jako całkowicie błędnych. Ale nie przeprowadziłem żadnego niezależnego sprawdzania faktów. Właśnie przeczytałem wyniki i stwierdziłem, że są wystarczająco dobre.

Ale co, jeśli naprawdę chcemy poznać dokładność tych 150 kul faktów? Tego rodzaju pytanie wydaje się idealnym projektem dla sztucznej inteligencji.

Metodologia

Oto rzecz. Jeśli GPT-4, model dużego języka OpenAI (LLM) używany przez ChatGPT Plus, generował stwierdzenia faktów, nie byłem do końca przekonany, że powinien je sprawdzać. To jakby poprosić uczniów szkoły średniej, aby napisali pracę z historii bez korzystania z żadnych odniesień, a następnie samodzielnie poprawili swoją pracę. Już zaczynają od podejrzanych informacji, a potem pozwalasz im się poprawiać? Nie, to nie brzmi dla mnie dobrze.

Ale co by było, gdybyśmy przekazali te fakty innym LLM wewnątrz innych AI? Zarówno Bard firmy Google, jak i Claude firmy Anthropic mają własne LLM. Bing używa GPT-4, ale pomyślałem, że przetestuję jego odpowiedzi, żeby być kompletnym.

Jak zobaczysz, najlepsze opinie otrzymałem od Barda, więc przekazałem jego odpowiedzi z powrotem do ChatGPT, w sposób okrężny wypaczając naturalny porządek wszechświata. To był fajny projekt.

Antropiczny Claude

Claude używa Claude 2 LLM, który jest również używany w implementacji sztucznej inteligencji Notion. Claude pozwolił mi przesłać plik PDF zawierający pełny zestaw faktów (bez zdjęć). Oto co wróciłem:

Ogólnie rzecz biorąc, Claude uznał listę faktów za w większości dokładną, zawierał jednak pewne wyjaśnienia dotyczące trzech pozycji. Ograniczyłem długość faktów ChatGPT, a to ograniczenie zahamowało niuanse w opisach faktów. Sprawdzenie faktów przez Claude'a nie zgadzało się z pewnym brakiem niuansów.

Ogólnie rzecz biorąc, była to zachęcająca odpowiedź.

Drugi pilot… czy niepilot?

Następnie dochodzimy do Copilot firmy Microsoft, przemianowanej na sztuczną inteligencję Bing Chat. Copilot nie pozwala na przesyłanie plików PDF, więc spróbowałem wkleić tekst ze wszystkich 50 faktów ze stanu. To podejście natychmiast zawiodło, ponieważ Copilot akceptuje tylko monity o długości do 2000 znaków:

Zapytałem Copilota o następujące rzeczy:

Poniższy tekst zawiera nazwy stanów, po których następują trzy fakty dotyczące każdego stanu. Proszę zbadać fakty i wskazać te, które są błędne w odniesieniu do tego stanu

Oto co wróciłem:

W zasadzie powtórzył fakty, o których sprawdzenie poprosiłem. Próbowałem więc poprowadzić go za pomocą bardziej stanowczego podpowiedzi:

Po raz kolejny zwrócił mi dane, o które prosiłem, aby je zweryfikował. Wydanie to wydało mi się bardzo dziwne, ponieważ Copilot używa tego samego LLM co ChatGPT. Najwyraźniej Microsoft dostrojił to inaczej niż ChatGPT.

Poddałem się i przeniosłem się na Barda.

Bard

Google właśnie ogłosiło nową spółkę Gemini LLM. Nie mam jeszcze dostępu do Gemini, więc przeprowadziłem te testy na modelu Google PaLM 2.

W porównaniu do Claude'a i drugiego pilota Bard wytrącił go z równowagi lub, bardziej szekspirowsko, „pokonuje wąski świat jak kolos”.

Sprawdź poniższe wyniki:

Należy zauważyć, że wiele faktów stanowych nie jest nawet uzgodnionych przez stany lub istnieją niuanse. Jak pokażę w następnej sekcji, przekazałem tę listę z powrotem do ChatGPT i znalazłem dwie rozbieżności w odpowiedziach na Alaskę i Ohio.

Ale są tu jeszcze inne braki. W pewnym sensie Bard przepłacił za to zadanie. Na przykład Bard słusznie stwierdził, że inne stany poza Maine produkują homary. Ale Maine angażuje się w produkcję homarów. Nigdy nie byłem w innym stanie, w którym miniaturowe pułapki na homary są jedną z najpopularniejszych pułapek na turystów.

Albo wybierzmy Nevadę i Strefę 51. ChatGPT powiedział: „Ściśle tajna baza wojskowa, plotki o obserwacjach UFO”. Bard próbował sprostować, mówiąc: „W Strefie 51 krążą nie tylko pogłoski o obserwacjach UFO. To naprawdę ściśle tajny obiekt wojskowy, a jego przeznaczenie jest nieznane”. Mówią mniej więcej to samo. Bard po prostu przeoczył niuans wynikający z ograniczonego limitu słów.

Kolejnym miejscem, które Bard wybrał na ChatGPT bez zrozumienia kontekstu, była Minnesota. Tak, Wisconsin też ma wiele jezior. Ale Bard nie twierdził, że Minnesota ma najwięcej jezior. Właśnie opisano Minnesotę jako „Krainę 10 000 jezior”, co jest jednym z najpopularniejszych sloganów Minnesoty.

Bard również rozłączył się z Kansas. ChatGPT stwierdziło, że Kansas jest „siedziba geograficznego centrum sąsiadujących Stanów Zjednoczonych”. Bard twierdził, że to Południowa Dakota. I byłoby to prawdą, jeśli uwzględnić Alaskę i Hawaje. Ale ChatGPT powiedział „ciągły” i ten zaszczyt sięga okolic Libanu w Kansas.

Mógłbym kontynuować i zrobię to w następnej sekcji, ale rozumiesz, o co chodzi. Sprawdzanie faktów przez Barda wydaje się imponujące, ale często mija się z celem i powoduje takie same błędy, jak każda inna sztuczna inteligencja.

Zanim przejdziemy do ograniczonego sprawdzania faktów przez ChatGPT i sprawdzania faktów przez Barda, pozwolę sobie zauważyć, że większość wpisów Barda była albo błędna, albo błędna. A jednak Google umieszcza swoje odpowiedzi na temat sztucznej inteligencji przed większością wyników wyszukiwania. Czy to cię dotyczy? Z pewnością mnie to martwi.

O takim cudzie, moi panowie i panie, nie ma mowy.

CzatGPT

Od samego początku mogłem stwierdzić, że Bard pomylił się w jednym ze swoich faktów - Alaska jest znacznie większa niż Teksas. Pomyślałem więc, zobaczmy, czy ChatGPT może zweryfikować fakty Barda. Przez chwilę myślałem, że to pogoń za ogonem AI może wyrzucić Księżyc z orbity Ziemi, ale potem zdecydowałem, że zaryzykuję całą strukturę naszego wszechświata, ponieważ wiedziałem, że będziesz chciał wiedzieć, co się stało:

Oto, co nakarmiłem ChatGPT:

A oto co powiedział ChatGPT (i dla jasności Księżyc rzeczywiście pozostał na orbicie):

Jak widać, ChatGPT nie zgodziło się z błędnym twierdzeniem Barda, że Teksas jest największym stanem. Było też trochę zamieszania w związku z meczem Ohio kontra Kansas związanym z narodzinami lotnictwa, co jest bardziej kontrowersyjne, niż uczy większość szkół.

Powszechnie przyjmuje się, że Wilbur i Orville Wright latali pierwszym samolotem (właściwie w Kitty Hawk w Północnej Karolinie), chociaż zbudowali swój Wright Flyer w Dayton w stanie Ohio. To powiedziawszy, Sir George Cayley (1804), Henri Giffard (1852), Félix du Temple (1874), Clément Ader (1890), Otto Lilienthal (1891), Samuel Langley (1896), Gustave Whitehead (1901) i Richard Pearse (1902) — z Nowej Zelandii, Wielkiej Brytanii, Francji, Niemiec i innych części Stanów Zjednoczonych — wszyscy mają w pewnym sensie uzasadnione twierdzenia, że jako pierwsi przelecieli.

Ale oddamy tę kwestię ChatGPT, ponieważ ma ona tylko 10 słów na stwierdzenie, a Ohio było miejscem, gdzie bracia Wright mieli swój sklep rowerowy.

Wnioski i zastrzeżenia

Wyjaśnijmy coś od razu: jeśli składasz artykuł lub dokument, w którym chcesz, aby fakty były zgodne z prawdą, przeprowadź własne sprawdzenie faktów. W przeciwnym razie twoje ambicje na poziomie Teksasu mogą zostać pogrzebane pod problemem wielkości Alaski.

Jak widzieliśmy w naszych testach, wyniki (podobnie jak w przypadku Barda) mogą wyglądać całkiem imponująco, ale mogą być całkowicie lub częściowo błędne. Ogólnie rzecz biorąc, interesujące było poproszenie różnych AI o wzajemne sprawdzenie się i jest to proces, który prawdopodobnie będę badał dalej, ale wyniki były rozstrzygające jedynie pod względem ich niejednoznaczności.

Drugi pilot poddał się całkowicie i po prostu poprosił o powrót do drzemki. Claude nie zgodził się z niuansami kilku odpowiedzi. Bard znalazł mnóstwo odpowiedzi, ale najwyraźniej mylić się jest nie tylko rzeczą ludzką, ale także sztuczną inteligencją.

Podsumowując, muszę zacytować prawdziwego Barda i powiedzieć: „Zamieszanie stworzyło teraz jego arcydzieło!”

Co myślisz? Jakie rażące błędy zauważyłeś w swojej ulubionej sztucznej inteligencji? Czy wystarczy zaufać sztucznej inteligencji w zakresie faktów, czy też przeprowadzisz teraz własne procesy sprawdzania faktów? Daj nam znać w komentarzach poniżej.

Możesz śledzić moje codzienne aktualizacje projektu w mediach społecznościowych. Pamiętaj, aby zapisać się do mojego cotygodniowego biuletynu aktualizacyjnego na Substack i śledzić mnie na Twitterze pod adresem @DavidGewirtz, na Facebooku pod adresem Facebook.com/DavidGewirtz, na Instagramie pod adresem Instagram.com/DavidGewirtz i na YouTube pod adresem YouTube.com/DavidGewirtzTV.