To bezpłatne narzędzie Google AI zamienia złożone prace badawcze w zwięzłe rozmowy

Imponujące programy do głębokiego uczenia, takie jak GPT-3 firmy OpenAI, mogą wykorzystywać statystyczne dziwactwa ludzkiego języka, takie jak polisemia i homonimy.

Czy częstotliwość występowania języka i cechy takie jak polisemia mogą wpływać na to, czy sieć neuronowa może nagle rozwiązywać zadania, do których nie została specjalnie opracowana, znane jako "uczenie się w kilku ujęciach"? DeepMind twierdzi, że tak.

Jak to się dzieje, że program taki jak sieć neuronowa GPT-3 firmy OpenAI może odpowiedzieć na pytania wielokrotnego wyboru lub napisać wiersz w określonym stylu, mimo że nigdy nie został zaprogramowany do tych konkretnych zadań?

Może to być spowodowane tym, że ludzki język ma właściwości statystyczne, które powodują, że sieć neuronowa spodziewa się nieoczekiwanego, zgodnie z nowymi badaniami przeprowadzonymi przez DeepMind, jednostkę Google zajmującą się sztuczną inteligencją.   

W rzeczywistości, jak piszą, język jest czymś pomiędzy nadzorowanymi danymi treningowymi, z regularnymi wzorcami, a meta-uczeniem się z wieloma różnymi danymi:

Podobnie jak w przypadku trenowania nadzorowanego, elementy (słowa) powtarzają się, a mapowania etykiet elementów (np. znaczenia słów) są w pewnym stopniu stałe. Jednocześnie dystrybucja z długim ogonem zapewnia, że istnieje wiele rzadkich słów, które rzadko powtarzają się w oknach kontekstowych, ale mogą być wybuchowe (pojawiać się wiele razy) w oknach kontekstowych. Możemy również postrzegać synonimy, homonimy i polisemię jako słabsze wersje całkowicie nieustalonych mapowań etykiet elementów, które są używane w meta-treningu z kilkoma ujęciami, gdzie mapowania zmieniają się w każdym odcinku.

Aby przetestować tę hipotezę, Chan i jego współpracownicy, co zaskakujące, w rzeczywistości nie pracują nad zadaniami językowymi. Zamiast tego trenują sieć neuronową Transformer, aby rozwiązała zadanie wizualne o nazwie Omniglot, wprowadzone w 2016 roku przez naukowców z NYU, Carnegie Mellon i MIT. Omniglot rzuca wyzwanie programowi, aby przypisał odpowiednią etykietę klasyfikacyjną do 1 623 odręcznych glifów znakowych.

W przypadku pracy Chana i in., zamieniają oni wyzwanie z etykietą Omniglot w jednorazowe zadanie, losowo tasując etykiety glifów, tak aby sieć neuronowa uczyła się z każdym "epizodem":

W przeciwieństwie do treningu, w którym etykiety były ustalane we wszystkich sekwencjach, etykiety dla tych dwóch klas obrazów były losowo ponownie przypisywane do każdej sekwencji [...] Ponieważ etykiety zostały losowo ponownie przypisane do każdej sekwencji, model musi użyć kontekstu w bieżącej sekwencji, aby przewidzieć etykietę dla obrazu zapytania (problem z klasyfikacją 2-kierunkową). O ile nie zaznaczono inaczej, uczenie się w kilku ujęciach było zawsze oceniane na klasach obrazów wstrzymanych, które nigdy nie były widziane podczas treningu.

W ten sposób autorzy manipulują danymi wizualnymi, glifami, aby uchwycić niejednolite cechy języka. "W czasie treningu umieszczamy obrazy i etykiety Omniglota w sekwencjach o różnych właściwościach dystrybucyjnych inspirowanych językiem" - piszą. Na przykład stopniowo zwiększają liczbę etykiet klas, które można przypisać do danego glifu, aby przybliżyć jakość polisemii.  

"Podczas oceny oceniamy, czy te właściwości powodują zdolność uczenia się w kilku strzałach".

Odkryli, że w miarę mnożenia liczby etykiet dla danego glifu, sieć neuronowa coraz lepiej radzi sobie z uczeniem się w kilku ujęciach. "Widzimy, że zwiększenie tego »czynnika polisemiicznego« (liczby etykiet przypisanych do każdego słowa) zwiększa również uczenie się w kilku ujęciach", jak to ujęli Chan i współpracownicy. 

"Innymi słowy, utrudnienie problemu uogólnienia w rzeczywistości sprawiło, że uczenie się w kilku ujęciach pojawiło się silniej".

Jednocześnie, nie tylko dystrybucja danych jest przyczyną wydajności w kilku ujęciach, podsumowują. Jest coś w specyficznej strukturze sieci neuronowej Transformera, co pomaga jej w uczeniu się w kilku ujęciach, jak odkryli Chan i jego współpracownicy. Testują oni "zwykłą rekurencyjną sieć neuronową" i stwierdzają, że taka sieć nigdy nie osiąga zdolności do tworzenia kilku ujęć. 

"Transformatory wykazują znacznie większą skłonność do uczenia się w kilku ujęciach niż modele rekurencyjne".

Autorzy doszli do wniosku, że znaczenie mają zarówno cechy danych, takie jak długi ogon języka, jak i natura sieci neuronowej, taka jak struktura transformatora. To nie jedno ani drugie, ale oba. 

Autorzy wymieniają szereg ścieżek do zbadania w przyszłości. Jednym z nich jest związek z ludzkim poznaniem, ponieważ niemowlęta wykazują coś, co wydaje się być uczeniem się w kilku ujęciach.

Na przykład niemowlęta szybko uczą się statystycznych właściwości języka. Czy te cechy dystrybucyjne mogą pomóc niemowlętom w nabyciu zdolności do szybkiego uczenia się, czy też służyć jako przydatne przygotowanie do późniejszej nauki? I czy podobne niejednorodne rozkłady w innych dziedzinach doświadczenia, takich jak widzenie, również mogą odgrywać rolę w tym rozwoju?

Powinno być oczywiste, że obecna praca nie jest w ogóle testem językowym. Ma raczej na celu naśladowanie rzekomych statystycznych właściwości języka poprzez odtworzenie niejednorodności w danych wizualnych, obrazów Omniglota.

Autorzy nie wyjaśniają, czy to przełożenie z jednej modalności na drugą ma jakikolwiek wpływ na znaczenie ich pracy. Zamiast tego piszą, że spodziewają się rozszerzyć swoją pracę na więcej aspektów języka. 

"Powyższe wyniki sugerują ekscytujące kierunki przyszłych badań", piszą, w tym: "W jaki sposób te właściwości dystrybucji danych oddziałują na uczenie się przez wzmacnianie w porównaniu z nadzorowanymi stratami? W jaki sposób wyniki mogą się różnić w eksperymentach, które replikują inne aspekty języka i modelowania języka, np. przy użyciu symbolicznych danych wejściowych, trenowanie na przewidywaniu następnego tokena lub zamaskowanego tokena oraz określanie znaczenia słów przez ich kontekst?"