Generatywna sztuczna inteligencja znacznie przewyższy możliwości ChatGPT. Tutaj znajdziesz wszystko na temat postępu technologicznego
Jaka przyszłość czeka generatywną sztuczną inteligencję? Multimodalność przeniesie prymitywne demo ChatGPT do współpracy międzyludzkiej, zaawansowanej robotyki - a może nawet marzenia sztucznej inteligencji o ciągłym uczeniu się.
Bardziej niż którekolwiek z najważniejszych osiągnięć sztucznej inteligencji - wygrywanie w szachach, przewidywanie składania białek, etykietowanie kotów i psów - forma sztucznej inteligencji, znana jako generatywna sztuczna inteligencja, poruszyła wyobraźnię na całym świecie.
W styczniu ChatGPT stał się najszybciej rozwijającym się programem w historii, docierając do stu milionów użytkowników w niecałe dwa miesiące od publicznego debiutu. Zrodziło wielu rywali, zarówno programy zastrzeżone, takie jak Bard firmy Google, jak i alternatywy o otwartym kodzie źródłowym, takie jak Koala Uniwersytetu Kalifornijskiego w Berkeley. Gwałtowny wzrost emocji spowodował wyścig zbrojeń pomiędzy technologicznymi gigantami Microsoftem i Google oraz ich odpowiednikami, a także gwałtowny wzrost działalności firmy Nvidia, producenta chipów AI.
Podekscytowanie dużymi modelami językowymi doprowadziło do rozkwitu licznych programów zastrzeżonych i otwartych, o coraz większej skali, przeznaczonych wyłącznie dla tekstu. Diagram pochodzi z artykułu „Inteligencja emocjonalna modeli dużego języka” z 2023 r. autorstwa Xueny Wanga i współpracowników z Uniwersytetu Tsinghua.
Cała ta żarliwa działalność ma swoje korzenie w prostym fakcie, że w przeciwieństwie do poprzednich programów AI, które w większości generowały wynik liczbowy - „1” dla zdjęcia kota, „0” dla zdjęcia psa - ChatGPT i programy graficzne takie jak Stable Diffusion Stability AI i DALL-E OpenAI, odtwarzają część świata.
Wysyłając akapit, obraz lub nawet szkielet programu komputerowego, programy takie odzwierciedlają twórczość społeczeństwa.
Aspekt odbicia lustrzanego dramatycznie wzrośnie w bardzo krótkim czasie.
Dzisiejsze programy generatywne będą wydawać się prymitywne w porównaniu z możliwościami programów, które będą powszechne pod koniec tego roku, ponieważ generują znacznie więcej rodzajów rzeczy.
Przechodzenie do wielu modalności
To, co informatycy nazywają modalnościami mieszanymi lub „multimodalnością”, zajmie centralne miejsce, gdy programy będą łączyć tekst, obrazy, „chmury punktów” przestrzeni fizycznej, dźwięki, wideo i funkcje całego komputera w inteligentne aplikacje.
Modalność mieszana umożliwi znacznie skuteczniejsze programy i przyczyni się do osiągnięcia długoterminowego celu, jakim jest ciągłe kształcenie. Może nawet przyczynić się do osiągnięcia celu, jakim jest „wcielona sztuczna inteligencja”, usprawniając robotykę.
„ChatGPT został stworzony dla rozrywki i robi naprawdę dobrze wiele rzeczy, ale jest to w pewnym sensie demo” - powiedział Naveen Rao, założyciel startupu AI MosaicML, w wywiadzie dla ZDNET. „Teraz musimy zacząć myśleć o tym, jeśli używam tego do jakiegoś celu, jak mogę to ulepszyć?”
Rao, którego firma została przejęta przez Databricks ze względu na jej wiedzę specjalistyczną w zakresie prowadzenia programów AI, obecnie pełni funkcję wiceprezesa ds. generatywnej sztucznej inteligencji w Databricks.
Częścią tego ulepszenia będzie uczynienie generatywnej sztucznej inteligencji czymś więcej niż tylko osobistym „drugim pilotem”, takim jak Microsoft GitHub Copilot, który pomaga pojedynczej osobie pisać na czacie. Zamiast tego programy staną się wspólne dla zespołów, powiedział Emad Mostaque, założyciel i dyrektor generalny Stability AI, w wywiadzie dla ZDNET.
„Duża część sztucznej inteligencji jest wykorzystywana po prostu jako rozwiązanie jeden na jednego lub jako autonomiczny agent” - powiedział Mostaque. „Jesteśmy obecnie w fazie iPhone'a 2G, gdzie jest tylko jeden tryb, który można wycinać i wklejać, ale myślę, że najbardziej ekscytujące jest to, jak możemy lepiej współpracować i opowiadać za jego pomocą lepsze historie, a to nie jest jedyne przedsięwzięcie”.
Jedną z rzeczy, której „zasadniczo brakuje” - stwierdził Rao z Databricks - „jest multimodalność świata”, biorąc pod uwagę, że „duże modele językowe są bardzo jednowymiarowe, ponieważ postrzegają świat jedynie poprzez tekst”.
Modalność odnosi się do charakteru danych wejściowych i wyjściowych, takich jak tekst, obraz lub wideo. Możliwe są różne sposoby, które są badane w coraz większej różnorodności, ponieważ te same podstawowe koncepcje, które napędzają ChatGPT, można zastosować do dowolnego rodzaju danych wejściowych.
„Zdecydowanie najlepszym rozwiązaniem będzie multimodalność” - stwierdził Mostaque. „Będziesz potrzebował modeli każdego typu i może, jeśli je połączysz, będzie niesamowicie”.
„Zagadnienia dotyczące wyłącznie języka cieszyły się dużym zainteresowaniem i ekscytacją, dlatego media skupiają się na tym, ale ludzie poważnie pracują nad innymi rzeczami” - powiedział Jim Keller, znany projektant chipów komputerowych i dyrektor generalny Tenstorrent, start-upu zajmującego się sztuczną inteligencją w rozmowie z ZDNETEM. Keller stawia swojej firmie na perspektywę, że obsługa mieszanych modalności będzie w przyszłości jednym z największych wymagań AI.
Maszyna do wszelkiego rodzaju danych
W dużym modelu językowym, będącym sercem technologii ChatGPT, tekst przekształcany jest w token, czyli ilościową reprezentację matematyczną. Następnie maszyna musi znaleźć to, czego brakuje w zamaskowanych częściach całej frazy lub w jej drugiej części. Jest to akt rekreacji, który powoduje akapity wypluwane przez ChatGPT.
Podobnie w przypadku obrazów szeroko stosowany proces dyfuzji - spopularyzowany przez wersję Stable Diffusion firmy Stability AI - powoduje uszkodzenie obrazów za pomocą szumu, a akt odtworzenia oryginalnego obrazu ćwiczy sieć neuronową w celu generowania obrazów o wysokiej jakości.
Te same procesy odzyskiwania brakujących lub uszkodzonych danych szybko rozprzestrzeniają się na wiele sposobów lub typów danych. Na przykład w niedawnym numerze magazynu Nature biolog z Uniwersytetu Waszyngtońskiego David Baker wraz z zespołem uszkodził sekwencje aminokwasów białek w procesie zwanym dyfuzją RF. Proces ten wytrenuje sieć neuronową do wytwarzania białka, w symulacji, nowego syntetycznego białka o pożądanych właściwościach.
Taka synteza może radykalnie zmniejszyć liczbę białek, które należy wynaleźć i przetestować, aby uzyskać nowe przeciwciała przeciwko chorobom. (Artykuł w Nature znajduje się za paywallem, ale darmowa wersja jest opublikowana na serwerze plików bioRxiv. Więcej informacji można znaleźć na stronie internetowej Baker Lab.)
Proces dyfuzji RF opracowany przez Baker Lab w Instytucie Projektowania Białek na Uniwersytecie Waszyngtońskim niszczy sekwencje aminokwasów, aby następnie zsyntetyzować nową strukturę białka, podobnie jak dyfuzja obrazu tworzy obrazy.
„Mamy laboratoria dla każdej modalności” - powiedział Mostaque ze Stability AI, który twierdzi, że jego firma i OpenAI to „jedyne dwie niezależne firmy zajmujące się multimodalnością” poza gigantami technologicznymi takimi jak Google. Ta wielomodalność obejmuje laboratorium w Stability AI przeznaczone wyłącznie do odtwarzania dźwięku, powiedział, laboratorium przeznaczone wyłącznie do generowania kodu, a nawet laboratorium biologiczne, które zajmuje się na przykład odtwarzaniem obrazów fMRI przy użyciu technologii Stable Diffusion.
Magia dzieje się jednak, gdy łączy się więcej modalności. „Przełom” - stwierdził Mostaque - dokonał w zeszłym roku Katherine Crowson i kilku innych badaczy, którzy wyszkolili sieć neuronową generującą obraz tak, aby udoskonalała swoje wyniki, dopóki wynik nie będzie odpowiadał podpowiedzi tekstowej. Odkryli, że ponowna obróbka obrazów w celu dopasowania ich do „semantycznej” zawartości tekstu poprawiła jakość obrazu. Jak zauważył Mostaque, Crowson pracuje teraz w Stability AI.
Praca nad obrazem i tekstem w wielu instytucjach postępuje szybko. Badacze sztucznej inteligencji z Meta zaproponowali kombinację maszyn tekstowych i obrazowych o nazwie CM3Leon, która specjalizuje się nie tylko w wysyłaniu tekstu lub obrazów, ale także w wykonywaniu zadań obejmujących jedno i drugie w tym samym czasie, takich jak identyfikacja obiektów na danym obrazie lub generowanie podpisów z dany obraz.
Sieć neuronowa Meta CM3Leon łączy obrazy i tekst, aby wykonywać wiele zadań, takich jak szczegółowe opisywanie danego obrazu lub precyzyjna zmiana danego obrazu. Jest to szczegółowo opisane w artykule z 2023 r. „Scaling Autoregressive Multi-Modal Models: Pre-training andInstrukcj Tuning” autorstwa Lilu Yu i współpracowników z Meta AI.
Bogatszy obraz świata
Połączenie wielu modalności zaczyna budować bogatszy obraz świata dla sieci neuronowej. Rao z Databricks przytacza neurobiologiczną koncepcję „stereognozy”, która oznacza poznawanie świata za pomocą zmysłu dotyku. Jeśli ktoś zapyta, ile reszty masz w kieszeni, możesz dotknąć monet i określić ich rozmiar i wagę, nie widząc ich. „Mam reprezentację świata i przedmiotów, które w rzeczywistości są reprezentowane na wiele sposobów” - powiedział. „Jeśli mogę nauczyć się koncepcji obejmujących modalności, zrobiliśmy coś interesującego”.
Idea, że różne zmysły stanowią podstawę rozumienia, znajduje odzwierciedlenie w przeprowadzanych eksperymentach multimodalnych. Trwają badania nad tworzeniem tak zwanych „szkieletowych” sieci neuronowych, które mogą łączyć i dopasowywać oszałamiającą gamę modalności i wykazują intrygujące korzyści w zakresie wydajności.
Naukowcy z Carnegie Mellon University zaproponowali niedawno coś, co nazywają „wysokomodalnym transformatorem multimodalnym”, który łączy nie tylko tekst, obraz, wideo i mowę, ale także informacje z tabeli bazy danych i dane szeregów czasowych. Główny autor Paul Pu Liang i współpracownicy donoszą, że zaobserwowali „kluczowe zachowanie skalowania” 10-modowej sieci neuronowej. „Wydajność stale się poprawia wraz z każdą dodaną modalnością i przenosi się na zupełnie nowe modalności i zadania”.
Artykuł Carnegie Mellon z 2023 r. „High-Modality Multimodal Transformer” autorstwa Paula Lianga i współpracowników łączy nie tylko tekst, obrazy, wideo i mowę, ale także informacje z tabeli bazy danych i dane szeregów czasowych.
Uczeni Yiyuan Zhang i współpracownicy z Laboratorium Multimedialnego Chińskiego Uniwersytetu w Hongkongu zwiększyli liczbę modalności w swoim Meta-Transformatorze do kilkunastu. Chmury punktów modelują wizję 3D, a dane z wykrywania hiperspektralnego reprezentują energię elektromagnetyczną odbitą od ziemi i wyświetlającą obrazy krajobrazów przelatujące nad nimi.
Meta-Transformer to przyszłość generatywnej sztucznej inteligencji, w której tony różnego rodzaju danych są łączone w celu uzyskania bogatszego obrazu tego, co jest produkowane jako wynik. Zostało to omówione w artykule z 2023 r. „Meta-Transformer: A Unified Framework for Multimodal Learning” autorstwa Yiyuana Zhanga i współpracowników z Laboratorium Multimedialnego Chińskiego Uniwersytetu w Hongkongu oraz OpenGVLab z Laboratorium AI w Szanghaju.
Tworzenie książeczki z opowieściami w wielu trybach
Natychmiastową korzyścią z multimodalności będzie po prostu wzbogacenie wyników takich rzeczy jak ChatGPT w sposób wykraczający daleko poza tryb „demo”. Jednym z bezpośrednich przykładów jest książeczka z bajkami dla dzieci, zawierająca fragmenty tekstu połączone z obrazkami ilustrującymi tekst. Łącząc atrybuty języka i obrazu, rodzaje obrazów tworzonych w procesie dyfuzji można subtelniej kontrolować w kolejnych obrazach.
Jak wyjaśnili naukowcy z Google i główny autor Wan-Duo Kurt Ma z Victoria University w Wellington w Nowej Zelandii, proces znany jako dyfuzja ukierunkowana może przenosić kota - zamek lub ptaka - przez różne sceny, tworząc seria obrazów, które zapewniają nie tylko większą kontrolę, ale także przejścia, jak w narracji.
Technika zwana dyfuzją ukierunkowaną może przenosić obiekt - kota, zamek, ptaka - przez różne sceny, tworząc serię obrazów, które zapewniają nie tylko większą kontrolę, ale także przejścia, jak w narracji. Zostało to szczegółowo opisane w artykule z 2023 r. „Directed Diffusion: Direct Control of Object Placement Through Attention Guidance” autorstwa Wana-Duo Kurta Ma i współpracowników z Victoria University of Wellington i Google Research.
Podobnie Hyeonho Jeong z koreańskiego Uniwersytetu Sungkyunkwan wraz z naukowcami z Korea Advanced Institute of Science & Technology wpadli na kolejny pomysł na dyfuzję - dyfuzję ukrytą - który szczegółowo opisali w niedawnym artykule. Twierdzą, że zapewnia to dostęp do znacznie większej liczby szczegółów obrazu przy niskim poziomie szczegółowości.
Rezultatem jest możliwość generowania książeczek z opowieściami, w których postać przechodzi przez różne scenariusze obraz po obrazie, na przykład poprzez dodanie pokręteł do podpowiedzi tekstowych w celu wybrania różnych scenariuszy. Spójność obiektu na obrazach nazywa się „Iteracyjnym wstrzykiwaniem spójnej tożsamości”.
Technika zwana utajoną dyfuzją rozszerza tworzenie obrazów o to, co jej twórcy nazywają „wstrzykiwaniem tożsamości”, aby skryptować ruch postaci poprzez obrazy z książki z opowieściami.
Podobnie jak w przypadku syntezy białek w Baker Lab, zastosowania modalności mieszanej mogą być dość szalone. W innej niedawnej pracy Chenyu Tanga i współpracowników z Wydziału Inżynierii Uniwersytetu Cambridge zaproponowano skonstruowanie „cyfrowego bliźniaka”, komputerowej symulacji ludzkiego ciała z renderowanymi wszystkimi narządami i tkankami oraz przedstawionymi przepływami krwi i tym podobnymi, poprzez połączenie danych z wielu instrumentów medycznych w tym samym procesie, co stabilna dyfuzja.
„Zarówno czujniki ruchu (takie jak akcelerometry, czujniki EMG itp.), jak i czujniki biochemiczne (do wykrywania biomarkerów odpowiadających chorobie, takie jak czujniki śliny, czujniki potu itp.) mogą generować określone wyniki dla pacjenta” - napisali autorzy. „Chociaż te wyniki mają różne wzorce, wszystkie odpowiadają tej samej chorobie”.
„Cyfrowy bliźniak” ludzkiego ciała mógłby powstać poprzez połączenie danych z wielu instrumentów medycznych w tym samym procesie, co stabilna dyfuzja. Diagram przedstawia „pięciopoziomowy plan działania dotyczący body DT [cyfrowy bliźniak]”, jak widać w artykule „Human Body Digital Twin: A Master Plan” z 2023 r. autorstwa Chenyu Tanga i współpracowników z Uniwersytetu w Cambridge.
Specjalni mistrzowie modalni
Sposób zestawienia modalności będzie równie ważny jak jakie, powiedział Mostaque ze Stability AI. „Ostatnią częścią będzie kompozycja, ponieważ zbudowane przez nas elementy składowe zostaną umieszczone w odpowiednim oprogramowaniu opartym przede wszystkim na sztucznej inteligencji, które na nowo wyobraża całe tworzenie, konsumpcję i przebieg procesów za pomocą tych nowych, fajnych narzędzi” - powiedział.
Chociaż można zastosować niektóre ogromne modele, takie jak PaLM LLM lub GPT-4 firmy Google, wiele z nich będzie realizowanych w formie mieszanej w wyniku orkiestracji komponentów, powiedział. „Jak łączyć modele w naprawdę interesujący sposób i mieć wiele różnych modeli współpracujących ze sobą, aby osiągnąć wyniki, które chcesz naprawdę ulepszyć?”
Choć PaLM i GPT-4 mogą być potężne, stwierdził, istnieje wiele dowodów na to, że „znacznie bardziej wyspecjalizowane modele mogą przewyższać” największe programy. W rezultacie „będziemy mieli, jak sądzę, wiele specjalistycznych modeli dla różnych modalności” - powiedział - proces „dekonstrukcji” technologii na jej odpowiednie role, „a następnie kilka modeli multimodalnych którzy mogą zrobić wszystko i są wzywani w odpowiednim czasie w celu wykonania odpowiedniej czynności.
Robotyka to kolejna granica AI
Mieszanie modalności jest godne uwagi w dziedzinie ucieleśnionej sztucznej inteligencji - w postaci robotyki.
Sergey Levine, profesor nadzwyczajny na wydziale elektrotechniki Uniwersytetu Kalifornijskiego w Berkeley, powiedział ZDNET, że w odniesieniu do generatywnej sztucznej inteligencji systemy w robotyce odgrywają znaczącą rolę.
„Zagadnienie multimodalne jest dość ekscytujące” - dodał Levine, członek uniwersyteckiego ośrodka badawczego zajmującego się sztuczną inteligencją w Berkeley, który współpracuje także z zespołami w Google.
Przetwarzając obrazy i tekst, multimodalna sieć neuronowa jest już w stanie generować „polecenia robota wysokiego poziomu” - powiedział. Kod, który zwykle napisałby robotyk, aby wydać polecenie robotowi, może być „w zasadzie w pełni zautomatyzowany” - powiedział Levine.
„Chcemy mieć możliwość szybkiego i łatwego wydawania robotom poleceń” - powiedział Levine. „Wypełnianie tej luki to coś, w czym modele językowe będą świetne”.
Levine pomagał nadzorować opublikowaną niedawno w Google wczesną demonstrację pod nazwą PaLM-E, którą badacze Google nazywają „ucieleśnionym modelem języka multimodalnego”. Robot jest w stanie wykonać szereg instrukcji, takich jak „przynieś mi chipsy ryżowe z szuflady”, które model językowy dzieli na instrukcje atomowe, takie jak „idź do szuflady”, „otwórz szufladę”, „wybierz torebka z zielonymi chipsami ryżowymi” itp.
Kolejna praca jednostki DeepMind firmy Google, nazwana RT-2, opiera się na PaLM-E, dodając możliwość generowania współrzędnych przestrzennych dla robota. Levine nazywa tę pracę „znaczącym postępem”.
Podobnie jak w przypadku koncepcji stereognozy, Levine argumentuje, że zwiększenie modalności może przynieść wzbogacony model świata, a tym samym zapewnić pewne podstawowe umiejętności rozumowania.
Jeśli duże modele językowe i modele dyfuzji potrafią zintegrować proces „robienia poprzednich obrazów i przewidywania [tekstowych] opisów oraz pobierania poprzednich opisów i przewidywania obrazów” - powiedział Levine - „teraz mogą zacząć w pewnym sensie drążyć dalej w kategoriach tego, jak rozumieją świat.”
Prymitywnym przykładem światowej wiedzy jest robot-barman, nad którym pracował Levine, który sprawdza ludziom dokumenty tożsamości. „Właściwie możesz określić model języka, napisać mi kod dla robota-barmana, a to wygeneruje pewną logikę, aby to zrobić, a jeśli ktoś zamówi kubek wody, nie będzie to napój alkoholowy” i dlatego nie wymaga ID. sprawdzać.
Będziemy potrzebować dużo więcej pamięci
Połączenie robotyki i multimodalności ma głębsze implikacje, ponieważ dramatycznie zwiększa apetyt na dane. Dzisiejsza generatywna sztuczna inteligencja, taka jak ChatGPT, nie ma wyraźnej pamięci. Działa tylko na ostatniej grupie rzeczy, którą wpisałeś w wierszu poleceń, a po pewnym czasie zapomina rzeczy z dawnych czasów.
Korzystanie z modalności mieszanej obejmującej znacznie więcej próbek danych zmusi generatywną sztuczną inteligencję do opracowania czegoś w rodzaju prawdziwej pamięci danych. „Kiedy zaczynamy przechodzić na modele multimodalne, zaczyna to być znacznie bardziej wymagające pod względem kontekstu” - powiedział Levine, „ponieważ obecny prototyp tego modelu składa się z jednego obrazu, ale być może chcesz dać mu tysiąc obrazów.
„Może chcesz pokazać mu wycieczkę po domu, aby wiedział, gdzie wszystko się w nim znajduje, aby gdy poprosisz go o kluczyki do samochodu, mógł w pewnym sensie sprawdzić swoją pamięć i dowiedzieć się, gdzie są kluczyki są - to wymaga znacznie dłuższego kontekstu.”
Dane wideo mogą być równie, jeśli nie bardziej, krytyczne, jeśli chodzi o umożliwienie robotowi zbudowania portretu świata. Te filmy, w połączeniu z tekstem, chmurami punktów i innymi metodami, stają się symulatorem, za pomocą którego robot może zbudować model świata, powiedział Levine. „Jeśli te modele zasadniczo umożliwią naukę symulatorów o bardzo wysokiej wierności, może to mieć bardzo, znaczący wpływ w przyszłości”.
Rozszerzenie oferty na tysiące obrazów i być może godziny filmów, być może gigabajty chmur punktów i danych 3D w celu uczenia programów multimodalnych oznacza, że ChatGPT i reszta będą musieli radykalnie rozszerzyć swój dostęp do danych za pośrednictwem tak zwanego banku pamięci.
Podejmowane są liczne wysiłki mające na celu „rozszerzenie” modeli językowych poprzez tak zwane pobieranie z bazy danych. Można to zaobserwować w programie Meta CM3Leon, który pozwala oprogramowaniu przeglądać bazę danych i znajdować odpowiednie obrazy.
Wysiłki takie jak technologia Hyena na Uniwersytecie Stanforda i kanadyjski instytut MILA próbują radykalnie rozszerzyć to, co można wprowadzić do podpowiedzi programu, tak aby można było wprowadzić dowolną ilość danych i dowolną modalność.
Oznacza to, że wraz z modalnością mieszaną następcy ChatGPT będą mogli żonglować znacznie szerszym kontekstem - całymi książkami, seriami artykułów, filmami i zapisami struktur fizycznych w trzech wymiarach. Oznacza to również, że kontekst każdego zadania może zostać znacznie lepiej dostosowany do wiedzy zdobytej przez jednostkę lub grupę. Mostaque powiedział, że takie modele zapewnią nie tylko ogólną wiedzę na temat GPT-4, ale także wiedzę szczegółową, a także wiedzę Twojego zespołu, Twojej firmy i nie tylko.
„Myślę, że to będzie wielka szansa, gdy w przyszłym roku wkroczymy na rynek przedsiębiorstw” - powiedział Mostaque, odnosząc się do rychłego powszechnego przyjęcia generatywnej sztucznej inteligencji w środowiskach korporacyjnych.
„System samokontroli pamięci” właściciela TikToka ByteDance może sięgnąć do banku danych zawierającego setki zwrotów dialogów i tysiące znaków, aby zapewnić dowolnemu modelowi językowemu lepsze możliwości niż ChatGPT w odpowiadaniu na pytania dotyczące przeszłych wydarzeń. Pokazano to w artykule z 2023 r. „Uwalnianie nieskończonej długości wejściowej dla dużych modeli językowych z systemem samokontroli pamięci” autorstwa Xinnian Lianga i współpracowników z ByteDance AI Lab.
Możliwość ciągłego uczenia się
W miarę jak multimodalność rozszerza się na wideo, audio, chmury punktów i całą resztę, Keller, dyrektor generalny Tenstorrent, firmy produkującej chipy AI, wierzy, że bardziej zaawansowane modele generatywne, zwłaszcza te pochodzące od społeczności oprogramowania open source, doprowadzą do głębokiego zmiana w rozróżnieniu między szkoleniem a wnioskowaniem.
Trening ma miejsce na etapie tworzenia sieci neuronowej. Jest to niezwykle kosztowny proces naukowy, w którym wykorzystywane są setki, a nawet tysiące procesorów graficznych. Wnioskowanie ma miejsce, gdy gotowa sieć jest wykorzystywana do prognozowania dla użytkowników końcowych, co jest znacznie mniej wymagającym procesem i jest powszechnie wdrażany jako usługa w chmurze.
Jednak „modele generatywne faktycznie wykorzystują sporo funkcji pochodzących z uczenia się wnioskowania” - powiedział Keller. Program taki jak Stable Diffusion firmy Stability AI do generowania obrazów aktualizuje swoją sieć neuronową podczas wnioskowania - powiedział. „Jest wieloprzebiegowy: ma przejście wstecz”, a także typowy proces przewidywań w przód, dzięki czemu „wygląda, jakby był w trybie treningowym”.
Z tego powodu „Myślę, że silnik sztucznej inteligencji przyszłości… będzie miał dość zróżnicowany zestaw możliwości, które nie będą wyglądać jak wnioskowanie czy szkolenie”, ale raczej połączenie tych dwóch.
Jeśli Keller ma rację, przyszłe modele generatywne mogą stanowić początek długoterminowego celu, jakim jest ciągłe uczenie się na potrzeby uczenia maszynowego, zwane czasem także uczeniem się online, w ramach którego generatywna sieć neuronowa nie jest stała po przeszkoleniu, ale stale ewoluuje w miarę częstszego korzystania z niej przez ludzi. .
„Myślę, że tak właśnie będzie” zgodził się Mostaque ze Stability AI. „Kluczowe będzie ciągłe uczenie się, ponieważ sposób, w jaki to robimy teraz, czyli ciągłe uczenie [modelu] tego samego, jest nieodpowiedni”.
Już teraz, powiedział Mostaque, takie rzeczy jak „Dream Booth” Stability AI, które pozwalają zbudować dostosowaną wersję obrazu, wychodzą poza sztywną koncepcję ponownego przeszkolenia modelu językowo-obrazowego do czegoś bardziej płynnego. Powiedział, że staną się one osobistymi awatarami - a w ciągu najbliższych kilku miesięcy staną się rodzajem hiper-Dream Booth, który umożliwi personalizację wszystkich obrazów w czasie rzeczywistym.
„Dlatego ciągłe uczenie się będzie tak ważne: umożliwienie tego ciągłego procesu, aby ewoluował”.