Myślisz, że sztuczna inteligencja może rozwiązać wszystkie Twoje problemy biznesowe? Nowe badanie Apple pokazuje, że jest inaczej

Apple właśnie ujawniło poważne pęknięcia w możliwościach sztucznej inteligencji. Zobacz, dlaczego LLM nadal nie radzą sobie ze złożonym rozumowaniem i jakie to oznacza dla procesów decyzyjnych.

Jeszcze w szkole inżynierskiej miałem profesora, który chlubił się wprowadzającymi w błąd zadaniami. Zadawał pytania zawierające elementy o wątpliwym związku z danym tematem w nadziei, że odwróci to naszą uwagę lub odwróci uwagę i wrzuci nas do króliczej nory niepotrzebnych badań.

Oto przykład rodzaju pytania, jakie by zadał. Jego pytania były znacznie trudniejsze i skupiały się na inżynierii, ale użyłem dokładnie tego pytania, ponieważ jest ono bezpośrednio związane z badaniem, które będziemy omawiać:

W piątek Oliver zrywa 44 kiwi. Następnie w sobotę zrywa 58 kiwi. W niedzielę zbiera dwukrotnie większą liczbę kiwi niż w piątek, ale pięć z nich było nieco mniejszych niż przeciętnie. Ile kiwi ma Oliver?

Celem mojego profesora było pomóc nam zidentyfikować, co jest istotne dla danego projektu i pomóc nam nauczyć się ignorować lub odsuwać na bok wszystkie naturalne czynniki rozpraszające, które towarzyszą prowadzeniu badań.

Początkowo był to bardzo bolesny - ale ostatecznie bardzo przydatny - zestaw lekcji dla inżynierów pierwszego roku.

Przypomniało mi się to wyzwanie z powodu artykułu badawczego opublikowanego w tym miesiącu przez zespół badaczy Apple zajmujący się sztuczną inteligencją i uczeniem maszynowym, pod przewodnictwem Samy'ego Bengio, starszego dyrektora, i Oncela Tuzela, wybitnego naukowca.

Ich artykuł zatytułowany „GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models” zawierał powyższy problem matematyczny. Jeśli spojrzysz na pytanie, stwierdzenie „ale pięć z nich było nieco mniejszych niż przeciętnie” nie powinno mieć wpływu na ogólną liczbę kiwi.

Naukowcy odkryli, że duże modele językowe (LLM), takie jak GPT-40-mini, GPT-40, o1-mini i o1-preview OpenAI, padają ofiarą pytań wymagających rozumowania w odróżnieniu od przetwarzania tekstu na bardzo wysokim poziomie.

Teraz, żeby być uczciwym, uruchomiłem to zapytanie przeciwko ChatGPT GPT-4o, które odpowiedziało poprawnie. Nie odebrałbym tego jako twierdzenia, że wnioski Apple są błędne, jedynie, że ChatGPT poprawnie poradził sobie z tym problemem.

Z drugiej strony wszyscy wiemy, że sztuczna inteligencja mogła równie łatwo odpowiedzieć, omawiając liczbę rzeczywistych ptaków Kiwi przechadzających się nocą po lasach Otorohanga w Nowej Zelandii.

Ma zatem sens, że ostateczny wniosek z badań Apple jest taki, że LLM nie są zdolne do prawdziwego rozumowania i zamiast tego polegają na dopasowywaniu wzorców.

W pewnym stopniu jest to wniosek typu „powiedz nam coś, czego nie wiemy”. Mimo to dobrze jest, gdy badacze tej kalibru, jakich Apple zastosował do rozwiązania tego problemu, potwierdzają to naukowo. A wraz z tym zanurzmy się w naukę.

Zestawy danych porównawczych

Jak się okazuje, poproszenie ChatGPT o przetłumaczenie Konstytucji na język piracki nie jest kompleksowym sposobem przetestowania LLM, nawet jeśli skutkuje niezłą zabawą.

Zamiast tego badacze opracowali znacznie mniej zabawne, ale skuteczniejsze ramy testów sztucznej inteligencji, zaprojektowane w celu pomiaru, jak dobrze modele językowe oceniają problemy matematyczne.

W 2021 roku OpenAI wprowadziło GSM8K, porównawczy zbiór danych używany do oceny rozumowania LLM. Akronim informuje, co zawiera zbiór danych: 8000 problemów matematycznych w szkole podstawowej.

Zbiór danych zastosowany do sztucznej inteligencji pomaga badaczom określić, jak dokładna jest sztuczna inteligencja i czy potrafi rozwiązywać problemy związane z rozumowaniem i podstawową matematyką. GSM8K jest uważany za złoty standard w ocenie możliwości matematycznego rozumowania LLM, szczególnie w przypadku problemów arytmetycznych i tekstowych.

Ponieważ jest to oprogramowanie typu open source, GSM8K jest również szeroko stosowane w dziedzinie sztucznej inteligencji (zarówno wewnątrz, jak i poza OpenAI) do testowania zadań wymagających rozumowania krok po kroku. Ma przejrzystą strukturę problemów, co czyni go zaufanym narzędziem dla badaczy sztucznej inteligencji przeprowadzających testy na wczesnym etapie swoich LLM.

Z drugiej strony badacze Apple uważają ten zbiór danych za zasadniczo błędny. Twierdzą, że wyniki testów GSM8K mogą przedstawiać zbyt pozytywny obraz możliwości danego LLM. Dzieje się tak, ponieważ zestaw testowy opiera się na ustalonych, znanych pytaniach, które mogły zostać użyte w zestawie szkoleniowym LLM.

W cytowanym powyżej artykule przedstawiono nowy zbiór danych, GSM-Symbolic, który według naukowców pokonuje ograniczenia standardu GSM8K. GSM-Symbolic oferuje bardziej zróżnicowane i złożone problemy, które uniemożliwiają LLM wykorzystanie przechowywanych danych szkoleniowych.

W artykule wspomniano, że niektóre modele, takie jak Google Gemma2-9B, wykazały znacząco różne wyniki przy użyciu dwóch porównawczych zbiorów danych. Gemma2-9B był w stanie poprawnie rozwiązać problemy w zbiorze danych GSM8K OpenAI, ale dokładność spadła o 15%, gdy został poddany zestawowi testów GSM-Symbolic firmy Apple.

Badacze Apple odkryli, że wraz ze wzrostem złożoności pytań (nazwali to „dodawaniem klauzul”) dokładność spadała. Ta metryka nie została wyświetlona w GSM8K, ponieważ dane zostały poprawione. Według Apple modele wykazujące dokładność - w wysokim zakresie 80-90% - mogą spaść do zakresu 40% w miarę wzrostu liczby klauzul.

Apple twierdzi, że istnieje pewne ryzyko skażenia danych w GSM8K, co oznacza, że modele mogły zostać wytrenowane na częściach zbioru danych. GitHub, w którym znajduje się zbiór danych GSM8K, został wykorzystany do szkolenia LLM.

Używanie GitHuba do trenowania danych nigdy nie wydawało mi się dobrym pomysłem. Mam stary kod w moim repozytorium GitHub i doskonale zdaję sobie sprawę z jego błędów. Nie chciałbym używać tego przykładowego kodu do szkolenia moich uczniów, nie mówiąc już o używaniu go do nauczania sztucznej inteligencji, na której polegamy w celu uzyskania dobrych odpowiedzi.

W każdym razie GSM-Symbolic firmy Apple nie wydaje się być oprogramowaniem typu open source. Tak więc, chociaż badacze Apple twierdzą, że jest to lepsze rozwiązanie do testowania LLM, nie będziesz mieć do niego dostępu, jeśli nie będziesz pracować w Apple w odpowiedniej grupie i krwawić w sześciu kolorach.

Co to wszystko znaczy?

Część mnie jest podejrzliwa co do motywacji Apple do napisania tego artykułu, ponieważ wydaje się to czymś w rodzaju superkujonowego porównania konkurencyjnego z Open Al, zwłaszcza że Apple wypuszcza własną ofertę Al.

Z drugiej strony Apple planuje włączyć ChatGPT do swojej oferty Apple Intelligence, więc nie wydaje się właściwe przypisywanie czystej rywalizacji jako uzasadnienia dla stworzenia takiego artykułu. Dlatego uważam, że motywacje były prawdopodobnie dokładnie takie, jakimi się wydawały: autentyczne zainteresowanie akademickie poprawą zrozumienia wydajności i dokładności modelu uczenia się.

Badanie potwierdza to, co prawie wiedzieliśmy od początku: LLM radzą sobie lepiej z dopasowywaniem wzorców niż z logicznym rozumowaniem. W swoim szkoleniu i przetwarzaniu wykorzystują rozpoznawanie wzorców, zamiast faktycznej dedukcji. Fakt, że tak wiele informacji ze świata można w przekonujący sposób przedstawić po prostu na podstawie rozpoznawania wzorców, jest zaskakujący, ale nadal nie zapewnia nam komputerów, które naprawdę potrafią rozumować.

Rozumowanie matematyczne jest zawodne. Przykład, który badacze Apple wykorzystali jako nieudany test podczas moich testów. Nie oznacza to, że zespół Apple się myli, ale wychodzi z założenia, że sztuczna inteligencja jest niespójna i stale ewoluuje. Dlatego poleganie na LLM w zakresie wyników matematycznych niekoniecznie jest podejściem praktycznym. Jeśli zależy Ci na dobrej matematyce, użyj algorytmów starej szkoły oraz tradycyjnych metod testowania i walidacji inżynierii oprogramowania lub przynajmniej dwukrotnie sprawdź wyniki, jakie daje sztuczna inteligencja.

Kolejną obawą dla osób rozważających poleganie na danych LLM w scenariuszach produkcyjnych jest spadek dokładności wraz ze wzrostem złożoności. Chociaż ten wzorzec dokładnie odzwierciedla sposób, w jaki ludzie radzą sobie z danymi (im bardziej staje się on złożony, tym więcej mamy problemów), różnica między LLM a nami polega na tym, że rzeczywiście ćwiczymy faktyczne rozumowanie.

Jakie są zatem implikacje biznesowe wyników badań przedstawionych w artykule Apple? To następne.

Implikacje biznesowe i ograniczanie ryzyka

Konsekwencje są oczywiste, chyba że patrzysz na sztuczną inteligencję przez różowe okulary. Sztuczna inteligencja jest pomocnym narzędziem, ale nie należy na niej polegać przy podejmowaniu skomplikowanych decyzji. Po prostu nierozsądnie jest zrzucać całą odpowiedzialność na sztuczną inteligencję lub LLM, ponieważ jest to nowa, obiecująca technologia.

Kilka razy pokazałem, jak wykorzystałem sztuczną inteligencję, aby uzyskać pewne spostrzeżenia na podstawie danych korporacyjnych, ale zawsze sprawdzałem wyniki, przemyślając analizę, sprawdzając, czy spotkała się ona z moją wewnętrzną wiedzą i - ostatecznie - - podejmowanie własnych ustaleń i decyzji. Sztuczna inteligencja była interesującym narzędziem wspierającym, ale moje doświadczenie w zarządzaniu było kluczem do podejmowania decyzji dotyczących mojej własnej firmy.

Sztuczna inteligencja ma pełen potencjał. Używałem ich na przykład do programowania. Jestem pewien, że ChatGPT zaoszczędził mi miesiąc programowania w zeszłym roku. Ale nie polegałem na sztucznej inteligencji przy projektowaniu kodu ani pisaniu sekcji logiki biznesowej. Użyłem go po prostu, aby zapewnić sobie interfejsy do bardzo popularnych interfejsów API, które w przeciwnym razie musiałbym tracić czas na szukanie i które były łatwe do przetestowania.

Nie oczekuj, że sztuczna inteligencja zastąpi ekspertów merytorycznych. Sztuczna inteligencja może wspierać wysiłki ludzkich ekspertów, ale jeśli chodzi o głębokie rozumowanie i krytyczne myślenie, sztuczna inteligencja jest zawodna. Spójrz na to w ten sposób: jeśli nie zaufałbyś studentowi pierwszego roku studiów lub dziecku sąsiada w podejmowaniu decyzji dotyczących Twojej firmy, nie ufaj sztucznej inteligencji.

Wiemy, że sztuczna inteligencja ma halucynacje. Wiemy, że czasami na podstawie przekazanych im danych wyciągają całkowicie szalone wnioski. Jeśli Twoja firma podejmuje decyzje na podstawie danych, nie zakładaj, że sztuczna inteligencja zapewni Ci właściwe dane.

To prowadzi nas do ograniczania ryzyka: inwestuj w sztuczną inteligencję ostrożnie. Poszukaj strategicznych obszarów, w których się wyróżnia.

Na przykład w mojej codziennej pracy stwierdzam, że sztuczna inteligencja zapewnia duże korzyści w zakresie możliwości edycji zdjęć w programie Photoshop w celu usuwania tła lub gimbala, który kieruje aparat na mnie niezależnie od tego, gdzie jestem w pokoju podczas nagrywania filmu na YouTube wideo. Używam go również do tekstu generatywnego i obrazów generatywnych, ale nigdy do projektów o znaczeniu krytycznym.

Upewnij się, że masz systemy zapewniające, że nadzór ze strony człowieka faktycznie ma miejsce i nie ulega poślizgowi. Musisz stale angażować ludzką inteligencję w pętlę, szczególnie w przypadku krytycznych operacji.

Rozszerz tę ostrożność na swój zespół. Wszyscy czytają i słyszą o cudach generatywnej sztucznej inteligencji, ale mogą nie zdawać sobie sprawy z jej ograniczeń. Upewnij się, że wszyscy członkowie Twojego zespołu wiedzą, że narzędzia takie jak LLM to właśnie to: narzędzia. Oprzyj się pokusie samozadowolenia.

Wnioski z badań Apple

Co ciekawe, Apple, które wrobiło tyle szumu marketingowego w Apple Intelligence, pokazuje także ograniczenia tej technologii. W pewnym sensie taka przejrzystość jest zachęcająca.

Apple wykorzystuje uczenie maszynowe jako narzędzie do regularnego ulepszania swoich możliwości przetwarzania zdjęć. Chociaż technologie te wykorzystują dużo matematyki, nie wymagają niezależnego ludzkiego rozumowania.

Można się spodziewać, że Apple nadal będzie intensywnie inwestować w technologie sztucznej inteligencji tam, gdzie sztuczna inteligencja jest silna, nawet w całym łańcuchu dostaw firmy. Nie spodziewam się jednak, że zespół wykonawczy Apple sceduje proces decyzyjny na rzecz LLM.

Badanie to pokazuje zarówno, że LLM mają zauważalne ograniczenia w miarę wzrostu złożoności projektu, jak i że Apple inwestuje w testowanie ograniczeń LLM i uwzględnia te wyniki w stopniu, w jakim opiera się na tych nowych technologiach.

Dla firmy, która rzadko ma przejrzystość w zakresie podejmowania decyzji, niniejszy artykuł zapewnia wgląd w szczegółowe badania przeprowadzane przez firmę Apple, aby pomóc jej zrozumieć mocne strony i ograniczenia najgorętszej nowej technologii dekady.

Jak myślisz? Czy Apple doszedł do właściwych wniosków? Czy próbowałeś wykorzystać sztuczną inteligencję do podejmowania decyzji? Do czego obecnie używasz LLM i do czego masz nadzieję wykorzystać je w przyszłości? Daj nam znać w komentarzach poniżej.