ChatGPT i ja zagraliśmy w grę 20 pytań i wtedy wydarzyło się to

Przetestowałem, jak GPT-3.5 i GPT-4 radzą sobie z relacjami między obiektami. Krótka odpowiedź: zaskakująco dobrze.

Któregoś dnia szperałem po Stack Exchange (jak to się robi) i znalazłem interesujący wątek na temat ChatGPT i gry „20 pytań”. Oryginalny plakat pytał, dlaczego ChatGPT nie radzi sobie z tak prostą grą. Dyskusja trwała przez dłuższy czas, zmierzając w różnych stycznych kierunkach (jak to bywa w przypadku takich dyskusji) i była powiązana z artykułem akademickim i postem na Medium, w których szczegółowo zbadano ten proces.

To dało mi do myślenia. Jak dobrze poradziłby sobie ChatGPT z taką grą? Zdecydowałem się zagrać dokładnie w tę samą grę zarówno z GPT-3.5, jak i GPT-4. Podczas mojego pierwszego uruchomienia oba wyszły na podobnych stycznych, ale GPT-4 udało się zgadnąć.

Zacząłem od prostego monitu dla każdej wersji:

Czy wiesz jak grać w grę „20 pytań”?

Kiedy obie wersje odpowiedziały twierdząco, uruchomiłem gry w tym samym czasie, w osobnych zakładkach i osobnych sesjach. Obiekt, który miałem na myśli, to skrzynka pocztowa. Zostawiłem trochę niejasne pytanie, czy jest to skrzynka pocztowa przymocowana do domu, czy wolnostojąca na ulicy. Tak długo, jak sztuczna inteligencja wybrała „skrzynkę pocztową”, wszystko byłoby w porządku.

20 pytań z GTP-3.5

Zacząłem od tego monitu startowego:

Bądź pytającym. Myślę o czymś.

Odpowiedź brzmiała następująco: „Zaczynajmy! Czy rzecz, o której myślisz, jest namacalnym przedmiotem, z którym możesz fizycznie wejść w interakcję?”

Odpowiedziałem i dałem mu jeszcze jedną dodatkową instrukcję: numerować odpowiedzi. To nie zadziałało dobrze. Gdy przeglądaliśmy pytania, sztuczna inteligencja nazwała drugie pytanie „1”. Kiedy to poprawiłem, bot zadał nowe pytanie i nazwał je „1”. Ostatecznie zadał 21 pytań, myśląc, że zadał tylko 20.

Najbardziej interesującym szczegółem było pytanie, które było drugim pytaniem: „Czy rzecz, o której myślisz, jest powszechnie spotykana w pomieszczeniach zamkniętych?”

Kiedy powiedziałem „Nie”, chatbot zaczął zadawać więcej pytań. Tutaj są. Niektóre z nich mogą być związane z przedmiotami używanymi w pomieszczeniach, takimi jak długopis czy ołówek, ale przyborów do pisania używamy także na zewnątrz. Oto pełny zestaw zadanych pytań:

Czy to, o czym myślisz, jest namacalnym przedmiotem, z którym możesz fizycznie wejść w interakcję?
Czy to, o czym myślisz, jest powszechnie spotykane w pomieszczeniach zamkniętych?
Czy to, o czym myślisz, jest czymś żywym lub kiedykolwiek żyło?
Czy rzecz, o której myślisz, jest używana głównie do celów rekreacyjnych?
Czy to, o czym myślisz, jest dziełem człowieka?
Czy to, o czym myślisz, jest mniejsze niż pudełko na chleb?
Czy to, o czym myślisz, jest związane z komunikacją?
Czy rzecz, o której myślisz, zwykle znajduje się w biurze lub miejscu pracy?
Czy to, o czym myślisz, jest formą urządzenia elektronicznego?
Czy to, o czym myślisz, to przyrząd do pisania, taki jak długopis lub ołówek?
Czy to, o czym myślisz, jest związane z rozrywką, na przykład grą lub zabawką?
Czy to, o czym myślisz, jest związane z transportem lub podróżami?
Czy to, o czym myślisz, jest narzędziem używanym do celów praktycznych?
Czy to, o czym myślisz, jest powszechnie kojarzone z budownictwem lub pracą fizyczną?
Czy to, o czym myślisz, jest czymś, czego ludzie często używają w codziennych czynnościach?
Czy to, o czym myślisz, jest przedmiotem gospodarstwa domowego?
Czy to, o czym myślisz, jest związane z higieną osobistą?
Czy to, o czym myślisz, jest rodzajem jedzenia lub napoju?
Czy to, o czym myślisz, jest narzędziem używanym w działaniach artystycznych lub twórczych?
Czy to, o czym myślisz, jest związane ze sportem lub aktywnością fizyczną?
Na podstawie dostarczonych informacji dokonam ostatecznego przypuszczenia: czy to, o czym myślisz, to zegar czy czasomierz?

Użycie modelu dużego języka GPT-3.5 nie powiodło się. Przyjrzyjmy się teraz GPT-4.

20 pytań z GPT-4

Zacząłem grę w ten sam sposób. Tym razem ChatGPT umieścił numer na początku każdego pytania bez konieczności proszenia mnie o to. Problem? Wpisano „1”. przed każdym pytaniem. Część wygrywasz, część przegrywasz.

Oto pytania zadane przez GPT-4:

Czy rzecz, o której myślisz, zwykle znajduje się w pomieszczeniu?
Czy to coś żywego?
Czy jest większy od pojemnika na chleb?
Czy obiekt ten jest wykorzystywany głównie w celach rekreacyjnych?
Czy przedmiot jest dziełem człowieka?
Czy jest to rodzaj pojazdu czy sposób transportu?
Czy obiekt jest elektroniczny, czy też wymaga zasilania, aby działać?
Czy jest wykonany głównie z metalu?
Czy ten przedmiot zwykle znajduje się w większości gospodarstw domowych?
Czy używa się go w kuchni, czy do gotowania?
Czy służy do przechowywania lub porządkowania przedmiotów?
Czy można go nosić, czy jest to element garderoby?
Czy służy głównie do czyszczenia lub konserwacji?
Czy ma charakter dekoracyjny? Chcesz coś, co wystawiłbyś na wystawę?
Czy powszechnie można go znaleźć w biurze lub gabinecie?
Czy jest to coś, co można znaleźć w sypialni?
Czy jest to związane z jakimiś konkretnymi zajęciami na świeżym powietrzu lub hobby?
Czy jest powszechnie wykonany z drewna?
Czy byłby zwykle używany w łazience, czy związany z higieną osobistą?
Czy jest to coś, co zwykle służy do siedzenia lub podparcia, np. krzesło lub ławka?

Technicznie rzecz biorąc, wyczerpał swoje 20 pytań. Ale potem wydał takie oświadczenie:

Tak, to była skrzynka pocztowa! Następnie poprosiłem go o pokazanie swojej pracy. Oto, co odpowiedział:

Kolej GPT-3.5 na odpowiedzi na pytania

Postanowiłem, że odwrócę sytuację w grze i zobaczę, jak by to wyglądało, gdybym to ja był pytającym. Oto moja zachęta:

OK, tym razem coś wymyślisz, a ja zadam pytania.

A oto moje pytania:

Czy często można go spotkać na świeżym powietrzu?
Czy występuje również w pomieszczeniach zamkniętych?
Czy to żyje?
Czy zużywa moc?
Czy opiera się na technologii cyfrowej?
Czy główna wartość użytkowa jest wyświetlana na ekranie?
Czy używa się go głównie do przygotowywania posiłków?
Czy służy głównie do rozrywki?
Czy jego podstawową wartością użytkową jest generowany hałas?
Czy jest przenośny?
Czy odtwarza tylko multimedia audio?
Czy zależy to od zewnętrznych słuchawek, wkładek dousznych lub głośników?
Czy jest to przenośny odtwarzacz muzyki czy odtwarzacz MP3?

Okazało się, że zgadłem w 13 pytaniach. Najważniejszą wskazówką było dla mnie to, że na pytanie 6 odpowiedział „nie”: „Czy jego podstawowa wartość użytkowa jest dostarczana za pośrednictwem ekranu?” i wcześniej odpowiedział „tak” na pytanie „Czy opiera się to na technologii cyfrowej?”

Kolej GPT-4 na odpowiedzi na pytania

Spróbowałem ponownie z GPT-4 i zaskoczyło mnie to. Wybrano bardzo kreatywny obiekt, a ja go po prostu nie zrozumiałem.

Powinienem zaznaczyć, że w samym środku, przy pytaniu 15, ChatGPT Plus wyrzucił mnie za zadawanie zbyt wielu pytań

Płacenie 20 dolarów miesięcznie za przywilej bycia informowanym o tym, że zadaję zbyt wiele pytań, jest dość denerwujące. Wystarczająco dużo tego słyszałem, gdy byłem dzieckiem. Z pewnością nie muszę być karcony jako dorosły i płacący klient.

Oto pytania, które zadałem:

Czy jest to przedmiot używany głównie w pomieszczeniach zamkniętych?
Czy to żyje?
Czy zużywa moc?
Czy jest większy od samochodu?
Czy jest dziełem człowieka?
Czy jest ruchomy?
Czy służy do prac ogrodowych?
Czy używają go głównie dzieci?
Czy ma koła?
Czy jest on zlokalizowany głównie na terenie mieszkalnym?
Czy służy jako mebel?
Czy to dekoracyjne?
Czy ma to charakter sezonowy?
Czy ma coś trzymać?
Ile mamy pytań?
Czy wyświetla słowa czy liczby?
Czy jest przymocowany do domu?
Czy rośnie?
Czy jest mniejszy od lodówki?
Czy to sadzarka?

Co zatem wybrała sztuczna inteligencja? Krasnal ogrodowy. Muszę oddać to AI. Było zabawnie i twórczo. Naprawdę interesujące jest to, jak dobrze sztuczna inteligencja rozumie rodzaj prezentowanego wyzwania. Po grze dałem mu taki komunikat:

Pokaż swoją pracę przy ustalaniu, jakiego przedmiotu użyć

Oto, co odpowiedział:

Czego się nauczyliśmy?

Podsumujmy, czego nauczył nas ten eksperyment. Oto krótka błyskawiczna runda przemyśleń:

W przypadku czegoś, co określa się po prostu jako przewidywanie następnego słowa w sekwencji, duży model językowy bardzo dobrze rozumie, czym jest ta gra i jak działa.
Różni się to wyraźnie od doświadczenia OP (oryginalnego plakatu) na Stack Exchange. Prawdopodobnie ChatGPT znacznie się poprawiło w ciągu trzech miesięcy od opublikowania oświadczenia „nie działa” i bez wątpienia ChatGPT Plus podnosi poziom „inteligencji” o kolejny poziom.
Modele GPT-3.5 i GPT-4 różnią się. Płatny model GPT-4 lepiej rozumie relacje między obiektami.
GPT-4 jest również bardziej wyrafinowany i kreatywny w porównaniu do GPT-3.5, gdy to gracz wybiera obiekt. Krasnal ogrodowy był inspirującym wyborem obiektu.
Gra w 20 pytań za pomocą ChatGPT może być ssąca, gdy próbujesz odgadnąć odpowiedź i dochodzi do przekroczenia limitu czasu „zbyt wielu pytań”.

Powiedziawszy to wszystko, mogę definitywnie stwierdzić, że ChatGPT jest w stanie poradzić sobie z grą w 20 pytań. Wydaje się, że rozumie relacje między obiektami na tyle dobrze, aby zadawać dobre pytania, właściwie odpowiadać na pytania i wybierać trudne przedmioty.

Śmiało, wybierz obiekt i podziel się swoimi wynikami z ChatGPT w komentarzach poniżej.