Sztuczna inteligencja spowodowała renesans badań i rozwoju w branży technologicznej, mówi główny naukowiec ds. sztucznej inteligencji w Meta
Istnieje już wiele obiecujących zastosowań komercyjnych, które mogą prowadzić do wzrostu wydajności, ale ostatecznie sztuczna inteligencja musi rozwinąć zdolność planowania, jeśli ma naprawdę się rozwijać, mówi Yann LeCun.
Siła ery głębokiego uczenia się sztucznej inteligencji doprowadziła do czegoś w rodzaju renesansu korporacyjnych badań i rozwoju w dziedzinie technologii informatycznych, według Yanna LeCuna, głównego naukowca ds. sztucznej inteligencji w Meta.
"Techniki, nad którymi pracowaliśmy, miały znacznie większy wpływ komercyjny, znacznie szerszy zakres" niż miało to miejsce w poprzednich erach sztucznej inteligencji, powiedział LeCun podczas małego spotkania prasy i kierownictwa za pośrednictwem Zooma w tym miesiącu.
"W rezultacie przyciągnęło to wiele funduszy na badania i w rzeczywistości spowodowało wznowienie badań w przemyśle".
Jeszcze dwadzieścia lat temu, jak twierdzi LeCun, Microsoft Research był jedyną jednostką branżową, która "miała jakąkolwiek pozycję w technologii informacyjnej". Ale potem, jak powiedział LeCun, w 2010 roku "Google Research naprawdę wysunął się na pierwszy plan, a FAIR [Facebook AI Research], które stworzyłem, i kilka innych laboratoriów, które zostały uruchomione. i zasadniczo ożywiając ideę, że przemysł może prowadzić badania podstawowe".
To odrodzenie korporacyjnych badań i rozwoju ma miejsce, powiedział LeCun, "ponieważ perspektywa tego, co może się wydarzyć w przyszłości i tego, co dzieje się w teraźniejszości, dzięki tym technologiom, jest wspaniała".
Wartość stosowanej sztucznej inteligencji, jak twierdzi LeCun, prowadzi do dwutorowego systemu, w którym korporacje badawczo-rozwojowe utrzymują projekty o większym zasięgu, a następnie inną ścieżkę, która kieruje badania do praktycznych zastosowań produktów.
"Dla firmy takiej jak Meta ma to sens, aby mieć jednocześnie duże laboratorium badawcze, które ma ambitne długoterminowe cele, takie jak budowanie inteligentnych wirtualnych asystentów z inteligencją na poziomie ludzkim, ponieważ ostatecznie tego chcemy; Ale jednocześnie technologia, która została opracowana, jest już przydatna.
"Na przykład moderacja treści i wykrywanie mowy w wielu językach zostały całkowicie zrewolucjonizowane w ciągu ostatnich dwóch lub trzech lat przez Transformers wstępnie wyszkolone w sposób samonadzorowany" - powiedział LeCun, odnosząc się do programu do przetwarzania języka naturalnego Transformer firmy Google, wprowadzonego w 2017 roku, który stał się podstawą wielu programów, takich jak ChatGPT firmy OpenAI.
"Poczyniono ogromne postępy, niewiarygodne postępy, a to dzięki najnowszym badaniom nad sztuczną inteligencją" - powiedział LeCun.
LeCun został zaproszony jako prelegent na półtoragodzinny wykład prowadzony przez Collective[i] Forecast, interaktywną serię dyskusji online organizowaną przez Collective[i], która reklamuje się jako "platforma AI zaprojektowana w celu optymalizacji sprzedaży B2B".
LeCun odpowiadał w ten sposób na pytanie ZDNET o to, jaki wpływ na podstawową naukę o sztucznej inteligencji ma bezprecedensowe zainteresowanie sztuczną inteligencją ze strony przemysłu i handlu.
LeCun określił siebie jako "optymistę" co do możliwości wykorzystania sztucznej inteligencji w celu dobra społeczeństwa. Wskazał, że nawet tam, gdzie sztuczna inteligencja nie osiąga jakichś celów, daje efekty, które mogą być korzystne.
LeCun podał przykład systemów pojazdów autonomicznych, które, choć nie są w pełni autonomiczne, mają tę zaletę, że zapewniają funkcje bezpieczeństwa drogowego, które ratują życie.
"Każdy samochód, który pojawia się w Europie, musi być wyposażony w system automatycznego hamowania awaryjnego (ABS)" - zauważył LeCun. "Nie jest to wymagane w USA. Ale wiele samochodów to ma".
Zauważył, że ABS to "te same systemy, które pozwalają samochodowi prowadzić się po autostradzie, prawda?" Zauważył, że mechanizm hamulcowy zmniejsza liczbę kolizji o 40%. "Tak więc, pomimo wszystkiego, o czym słyszysz, wiesz, Tesla, która wpadła w ciężarówkę lub cokolwiek innego, te rzeczy absolutnie ratują życie, do tego stopnia, że są wymagane".
LeCun powiedział również, że "jedną z rzeczy, które uważam za dość obiecujące w sztucznej inteligencji, jest wykorzystanie sztucznej inteligencji w nauce i medycynie w chwili obecnej" w celu poprawy jakości życia ludzi.
"Istnieje wiele eksperymentalnych systemów, z których kilkaset uzyskało aprobatę FDA, które poprawiają wiarygodność diagnozy na podstawie rezonansu magnetycznego i zdjęć rentgenowskich oraz różnych innych rzeczy w przypadku wielu różnych dolegliwości" - powiedział LeCun. "To będzie miało ogromny wpływ na zdrowie".
Te przełomy, choć pozytywne, są niewielkie w porównaniu z "wielką rzeczą", a mianowicie "sposobem, w jaki sztuczna inteligencja jest wykorzystywana w nauce w przyszłości".
"Mamy systemy, które mogą fałdować białka, mamy teraz systemy, które byłyby w stanie zaprojektować białka tak, aby przyklejały się do określonego miejsca, co oznacza, że możemy projektować leki w zupełnie inny sposób niż robiliśmy to w przeszłości" - powiedział LeCun.
Sztuczna inteligencja ma również "ogromny potencjał postępu w materiałoznawstwie" - powiedział LeCun. "Będziemy tego potrzebować, ponieważ musimy rozwiązać problem zmian klimatycznych, więc musimy być w stanie mieć baterie o dużej pojemności, które nie kosztują fortuny i nie wymagają używania egzotycznych materiałów, które możemy znaleźć tylko w jednym miejscu".
LeCun przytoczył przykład jednego z takich projektów materiałowych, Open Catalyst, założonego przez kolegów z FAIR, który współpracuje z Carnegie Mellon University w celu zastosowania sztucznej inteligencji do opracowania "nowych katalizatorów do wykorzystania w magazynowaniu energii odnawialnej, aby pomóc w przeciwdziałaniu zmianom klimatycznym".
"Pomysł polega na tym, że moglibyśmy pokryć małą pustynię panelami fotowoltaicznymi, a następnie magazynować energię, która jest wykorzystywana przez te panele, na przykład w postaci wodoru lub metanu" - wyjaśnił LeCun. Obecne podejścia do magazynowania wodoru lub metanu są "albo skalowalne, albo wydajne, ale nie jedno i drugie".
"Czy moglibyśmy odkryć, być może z pomocą sztucznej inteligencji, nowy katalizator, który sprawiłby, że proces ten byłby bardziej wydajny lub skalowalny, nie wymagając stosowania nowego, egzotycznego materiału? To może nie zadziałać, ale warto spróbować."
Pomimo tych wielu obiecujących zastosowań komercyjnych i stosowanych, LeCun zasugerował, że zawężenie zastosowań przemysłowych nie odpowiada większemu celowi sztucznej inteligencji, jakim jest dążenie do inteligencji na poziomie zwierząt lub ludzi.
Ogromny postęp badawczy leżący u podstaw dzisiejszych zastosowań, takich jak Transformers, był możliwy w erze głębokiego uczenia dzięki bezprecedensowej dostępności danych i obliczeń, powiedział LeCun, podczas gdy fundamentalne postępy naukowe nie zawsze były tak obfite i tak bogate.
"To, co spowodowało najnowszą falę, to po pierwsze, kilka postępów koncepcyjnych - ale, szczerze mówiąc, nie jest to ogromna ilość i nie tak imponująca - ale tak naprawdę ilość dostępnych danych i ilość obliczeń, które umożliwiły skalowanie tych systemów w górę."
Rzeczy takie jak duże modele językowe, takie jak GPT-3, program komputerowy, na którym oparty jest ChatGPT, są dowodem na to, że skalowanie sztucznej inteligencji, czyli dodawanie kolejnych warstw dostrajalnych parametrów, bezpośrednio poprawia wydajność programów. "Okazuje się, że działają naprawdę dobrze, gdy je skalujesz" - powiedział o GPT-3 i im podobnych.
Branża może w pewnym momencie odnotować malejące zyski, powiedział LeCun, polegając na samym skalowaniu bez odkrywania innych dróg.
"Wiele firm, takich jak w szczególności OpenAI, używało tego jako mantry, po prostu zwiększaj rzeczy, a to po prostu będzie działać lepiej" - powiedział. "Myślę jednak, że w tej chwili dochodzimy do granic tego poziomu".
Pomimo skalowania coraz większych modeli, powiedział LeCun, "Wydaje się, że nie jesteśmy w stanie wytrenować całkowicie autonomicznego systemu autonomicznej jazdy [samochodowej], po prostu, wiesz, trenując większe sieci neuronowe na większej ilości danych; Wygląda na to, że to nie dotrze".
Choć są imponujące, programy takie jak ChatGPT, które LeCun nazwał "niezbyt innowacyjnymi" i "niczym rewolucyjnym", nie mają zdolności do planowania.
"Są całkowicie reaktywne" - powiedział LeCun. "Dajesz im kontekst składający się z kilku tysięcy słów", co oznacza podpowiedź wpisaną przez człowieka: "A następnie na tej podstawie system po prostu generuje następny token, całkowicie reaktywnie".
"Nie ma planowania z wyprzedzeniem ani dekompozycji złożonego zadania na prostsze, jest to po prostu reaktywne" - powiedział LeCun.
LeCun podał przykład programu Co-Pilot OpenAI, który został zintegrowany przez Microsoft z platformą zarządzania kodem GitHub. "Istnieje bardzo poważne ograniczenie takich systemów" - powiedział. "Są one używane jako, w zasadzie, klawiatura predykcyjna na sterydach".
"Zaczynasz pisać swój program i robisz opis tego, co powinien robić w komentarzach, a masz narzędzia oparte na dużych modelach językowych, które uzupełnią program" - wyjaśnił.
Takie autouzupełnianie jest jak tempomat w samochodach, który pomaga w jeździe po autostradzie. "Twoje ręce muszą pozostać na kierownicy przez cały czas", ponieważ drugi pilot może generować błędy w kodzie bez świadomości błędu.
"Pytanie brzmi, w jaki sposób możemy uzyskać dostęp do systemów, które generują kod, który czasami działa, ale czasami nie" - powiedział LeCun. "Odpowiedzią na to pytanie jest to, że wszystkie te systemy nie są dziś zdolne do planowania; Są całkowicie reaktywne".
"A to nie jest to, czego potrzebujesz do inteligentnego zachowania".
Raczej, powiedział LeCun, "jeśli chcesz inteligentnego zachowania, potrzebujesz systemu, który jest w stanie przewidzieć skutki swoich własnych działań", a także posiadania "pewnego rodzaju wewnętrznego modelu świata, mentalnego modelu tego, jak świat zmieni się w wyniku jego własnych działań".
LeCun nakreślił zeszłego lata artykuł na temat zapotrzebowania na programy ze zdolnością do planowania, o czym szczegółowo rozmawiał z ZDNET we wrześniu.
Jak dotąd, odrodzenie się badań i rozwoju w dziedzinie technologii informatycznych w przedsiębiorstwach nie doprowadziło jeszcze do najbardziej cenionego rezultatu technologii, jakim jest produktywność, ale może to nastąpić w ciągu następnej dekady.
Powołując się na pracę badacza Erika Brynjolfssona z grupy Human-Centered Artificial Intelligence na Uniwersytecie Stanforda, LeCun zauważył, że ekonomiści uważają sztuczną inteligencję za "technologię ogólnego przeznaczenia", co oznacza coś, co "będzie powoli rozprzestrzeniać się we wszystkich zakątkach gospodarki i przemysłu i zasadniczo wpłynie na całą działalność gospodarczą" poprzez różne efekty, takie jak tworzenie nowych miejsc pracy. wypieranie innych miejsc pracy itd., "i prowadzić do wzrostu wydajności, ponieważ sprzyja innowacjom". Innymi słowy, innowacja, która opiera się na innowacjach, jest ekonomicznym ekwiwalentem produktywności.
Eric w szczególności mówi, że przynajmniej do niedawna nie zaobserwowaliśmy wzrostu produktywności dzięki sztucznej inteligencji, a historycznie rzecz biorąc, potrzeba około 15, 20 lat, aby zobaczyć mierzalny wpływ rewolucji technologicznej na produktywność.
"Tak więc, zgodnie z jego przewidywaniami, prawdopodobnie stanie się to w ciągu najbliższych dziesięciu lat".
Odrodzenie się podstawowych badań i rozwoju w dziedzinie technologii informatycznych może mieć pewną siłę przebicia, biorąc pod uwagę ich atrakcyjność dla młodych naukowców, wskazał LeCun.
"Myślę, że jednym ze zjawisk, które obserwujemy, jest to, że młodzi, utalentowani ludzie aspirują teraz do zostania naukowcami zajmującymi się sztuczną inteligencją, ponieważ jest to fajna rzecz, podczas gdy wcześniej ci sami ludzie poszliby do finansów" - powiedział LeCun. - Myślę, że lepiej dla nich, jeśli pójdą na naukę.