ChatGPT nie jest "szczególnie innowacyjny" i "nie jest niczym rewolucyjnym", mówi główny naukowiec ds. sztucznej inteligencji Meta

Opinia publiczna postrzega ChatGPT firmy OpenAI jako rewolucyjny, ale te same techniki są używane i ten sam rodzaj pracy odbywa się w wielu laboratoriach badawczych, mówi pionier głębokiego uczenia.

Dlaczego opinia publiczna nie widziała programów takich jak ChatGPT od Meta lub od Google? "Odpowiedź jest taka, że zarówno Google, jak i Meta mają wiele do stracenia, wypuszczając systemy, które wymyślają rzeczy" - mówi główny naukowiec ds. sztucznej inteligencji Meta, Yann LeCun.

Ostatnio wylano wiele atramentu na temat ogromnej obietnicy programu ChatGPT firmy OpenAI do generowania wypowiedzi w języku naturalnym w odpowiedzi na ludzkie podpowiedzi. 

Program uderza wielu ludzi jako tak świeży i intrygujący, że ChatGPT musi być wyjątkowy we wszechświecie.

Badacze sztucznej inteligencji są innego zdania. 

"Jeśli chodzi o podstawowe techniki, ChatGPT nie jest szczególnie innowacyjny" - powiedział Yann LeCun, główny naukowiec ds. sztucznej inteligencji Meta, na małym zgromadzeniu prasy i kadry kierowniczej na Zoomie w zeszłym tygodniu. 

"Nie jest to nic rewolucyjnego, chociaż tak jest to postrzegane przez opinię publiczną" - powiedział LeCun. "Po prostu jest tak, że wiesz, to jest dobrze poskładane, ładnie zrobione".

Takie systemy sztucznej inteligencji oparte na danych zostały zbudowane w przeszłości przez wiele firm i laboratoriów badawczych, powiedział LeCun. Pomysł, że OpenAI jest osamotniony w swoim rodzaju pracy, jest niedokładny.

"OpenAI nie jest szczególnie postępem w porównaniu z innymi laboratoriami" - powiedział LeCun.

"To nie tylko Google i Meta, ale jest też pół tuzina startupów, które w zasadzie mają bardzo podobną technologię" - dodał LeCun. "Nie chcę powiedzieć, że to nie jest nauka o rakietach, ale jest naprawdę wspólna, nie ma za tym żadnej tajemnicy, jeśli można tak powiedzieć".

LeCun zwrócił uwagę na wiele sposobów, w jakie ChatGPT i program, na którym się opiera, GPT-3 firmy OpenAI, składa się z wielu elementów technologii opracowanych przez wiele lat przez wiele stron. 

"Musisz zdać sobie sprawę, że ChatGPT wykorzystuje architektury Transformer, które są wstępnie wyszkolone w ten samonadzorowany sposób" - zauważył LeCun. "Samonadzorowane uczenie się to coś, za czym opowiadam się od dawna, nawet zanim powstało OpenAI" - powiedział. 

"Transformers to wynalazek Google" - zauważył LeCun, odnosząc się do językowej sieci neuronowej zaprezentowanej przez Google w 2017 roku, która stała się podstawą szerokiej gamy programów językowych, w tym GPT-3. 

Prace nad takimi programami językowymi sięgają dziesięcioleci wstecz, mówi LeCun.

"Duże modele językowe, pierwszy model językowy sieci neuronowych - w tamtym czasie był duży, według dzisiejszych standardów, jest mały - został stworzony przez Yoshua Bengio, około 20 lat temu" - powiedział LeCun, odnosząc się do szefa kanadyjskiego instytutu MILA ds. AI. Praca Bengio nad koncepcją uwagi została później podchwycona przez Google dla Transformera i stała się kluczowym elementem we wszystkich modelach językowych. 

Co więcej, program OpenAI szeroko wykorzystuje technikę zwaną uczeniem się przez wzmacnianie poprzez informacje zwrotne od ludzi, która skłania agentów ludzkich do pomocy w uszeregowaniu wyników maszyny w celu jej ulepszenia, podobnie jak Google Page Rank dla sieci. To podejście zostało zapoczątkowane nie w OpenAI, ale w jednostce DeepMind Google'a. 

"Więc jest cała historia tego i nie wzięło się to z próżni" - powiedział LeCun, mając na myśli ChatGPT.

Program ChatGPT jest nie tyle przypadkiem przełomów naukowych, co przykładem przyzwoitej inżynierii, powiedział LeCun. Porównał program do komputera IBM Watson, który brał udział w 2011 roku w teleturnieju Jeopardy!, oraz do autonomicznego pojazdu przedsiębiorcy Sebastiana Thruna, który wygrał Grand Challenge DARPA w 2005 roku. Wielokrotnie nagradzana technologia Thruna "nie była szczególnie innowacyjna pod względem naukowym", powiedział LeCun, "była po prostu bardzo dobrze zaprojektowana".

"To jest właśnie to, co zrobiło OpenAI" - powiedział. - Nie zamierzam ich za to krytykować.

LeCun został zaproszony jako prelegent na półtoragodzinny wykład prowadzony przez Collective[i] Forecast, interaktywną serię dyskusji online organizowaną przez Collective[i], która reklamuje się jako "platforma AI zaprojektowana w celu optymalizacji sprzedaży B2B".

LeCun wypowiedział się na temat OpenAI w odpowiedzi na pytanie zadane podczas kolokwium przez dziennikarza New York Timesa, Cade'a Metza. Metz zapytał, czy zespół Meta ds. sztucznej inteligencji, FAIR, który zbudował LeCun, będzie kiedykolwiek identyfikowany w świadomości publicznej z przełomowymi odkryciami w taki sposób, jak OpenAI. 

"Czy zobaczymy to w Meta? Tak, zobaczymy to" - odparł LeCun. "I nie chodzi tylko o generowanie tekstu, ale także o pomoce w tworzeniu", powiedział, w tym "sztukę generatywną", która, jak powiedział, "myślę, że będzie wielką rzeczą".

Zaproponował, że Meta będzie w stanie pomóc małym firmom w promowaniu się poprzez automatyczną produkcję mediów promujących markę. 

"Jest około 12 milionów sklepów, które reklamują się na Facebooku, a większość z nich to sklepy typu mom i pop, które po prostu nie mają zasobów, aby zaprojektować nową, ładnie zaprojektowaną reklamę" - zauważył LeCun. "Dla nich sztuka generatywna może bardzo pomóc".

W innym momencie rozmowy LeCun zauważył: "Możesz zadać pytanie, dlaczego nie ma podobnych systemów od, powiedzmy, Google i Meta", odnosząc się ponownie do ChatGPT.

"A odpowiedź jest taka, że zarówno Google, jak i Meta mają wiele do stracenia, wypuszczając systemy, które wymyślają różne rzeczy" - powiedział LeCun ze śmiechem.

LeCun jest laureatem Nagrody Turinga 2019 za wkład w informatykę, odpowiednika Nagrody Nobla w dziedzinie informatyki, wraz z profesorem Bengio i Uniwersytetu w Toronto oraz stypendystą Google, Geoffreyem Hintonem. Ta trójka pomogła zapoczątkować dzisiejszą erę głębokiego uczenia się sztucznej inteligencji.  

OpenAI jest finansowane przez firmę Microsoft, która ma wyłączny dostęp do kodu tworzonego przez startup i która stopniowo włącza programy do swojej różnorodnej oferty oprogramowania, w tym usługi w chmurze Azure.