DeepMind RT-2 sprawia, że sterowanie robotem jest kwestią czatu AI

Instruowanie robota może polegać jedynie na zastosowaniu dużego modelu językowego, który obsługuje czynności w tym samym wierszu poleceń, co obrazy i słowa.

Transformator robotyki DeepMind w wersji 2 to duży model językowy, który uczy się nie tylko obrazów i tekstu, ale także danych koordynacyjnych dotyczących ruchu robota w przestrzeni. Po przeszkoleniu można mu przedstawić obraz i polecenie, a także wypluć plan działania i współrzędne niezbędne do wykonania polecenia.

Kluczowym elementem przyszłości robotyki będzie sposób, w jaki ludzie będą mogli instruować maszyny w czasie rzeczywistym. Otwartym pytaniem w robotyce jest jednak rodzaj nauczania.

Nowe badania przeprowadzone przez jednostkę DeepMind firmy Google sugerują, że duży model językowy, podobny do ChatGPT OpenAI, jeśli ma powiązanie między słowami i obrazami oraz fragmentem danych zarejestrowanych przez robota, umożliwia wpisywanie instrukcji na maszynie tak prosto, jak podczas rozmowy z ChatGPT.

Artykuł DeepMind „RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control”, którego autorem jest Anthony Brohan i współpracownicy, i opublikowany w poście na blogu, przedstawia RT-2, co nazywa „wizją- model „język-akcja”. (Istnieje również towarzyszące repozytorium GitHub.) Akronim RT oznacza „transformator robotyki”.

Wyzwanie polega na tym, jak sprawić, aby program korzystający z obrazów i tekstu wygenerował jako wynik serię działań znaczących dla robota. „Aby umożliwić modelom języka wizyjnego kontrolowanie robota, należy je przeszkolić w zakresie wyprowadzania działań” - jak to ujęli.

Kluczową tezą tej pracy jest to, że „przedstawiamy działania robotów jako inny język” - piszą Brohan i zespół. Oznacza to, że działania zarejestrowane przez robota mogą stać się źródłem nowych działań, ponieważ nauczenie się tekstu z Internetu powoduje, że ChatGPT generuje nowy tekst.

Działania robota są kodowane w transformatorze robotyki jako współrzędne w przestrzeni, zwane stopniami swobody.

„Przestrzeń działania składa się z 6-DoF [stopnia swobody] przemieszczenia pozycyjnego i obrotowego efektora końcowego robota, a także poziomu wysunięcia chwytaka robota oraz specjalnego dyskretnego polecenia zakończenia odcinka, które powinno zostać wywołane zgodnie z polityką, aby zasygnalizować pomyślne zakończenie.”

Żetony są wprowadzane do programu podczas szkolenia w tej samej frazie, co znaczniki językowe składające się ze słów i znaczniki obrazowe zawierające obrazy. Współrzędne robota stają się kolejną częścią frazy.

Działania robota są kodowane w transformatorze robotyki jako współrzędne w przestrzeni, zwane stopniami swobody. Żetony są wprowadzane do programu podczas szkolenia w tej samej frazie, co znaczniki językowe składające się ze słów i znaczniki obrazowe zawierające obrazy. Współrzędne robota stają się kolejną częścią frazy.

Użycie współrzędnych jest znaczącym kamieniem milowym. Zwykle fizykę robotów określa się poprzez programowanie niskopoziomowe, które różni się od językowych i obrazowych sieci neuronowych. Tutaj wszystko jest ze sobą wymieszane.

Program RT opiera się na dwóch wcześniejszych działaniach Google, zwanych PaLI-X i PaLM-E, które są tak zwanymi modelami języka wizyjnego. Jak sama nazwa wskazuje, modele języka wizyjnego to programy, które łączą dane z tekstu z danymi z obrazów, dzięki czemu program rozwija zdolność powiązania tych dwóch elementów, na przykład przypisywania podpisów do obrazów lub odpowiadania na pytanie dotyczące zawartości obrazu .

Podczas gdy PaLI-X koncentruje się wyłącznie na zadaniach związanych z obrazem i tekstem, PaLM-E, wprowadzony niedawno przez Google, idzie o krok dalej, wykorzystując język i obraz do sterowania robotem poprzez generowanie poleceń jako jego wynik. RT wykracza poza PaLM-E w generowaniu nie tylko planu działania, ale także współrzędnych ruchu w przestrzeni.

RT-2 „jest znaczącym postępem” - stwierdził w korespondencji e-mailowej z ZDNET Sergey Levine, profesor nadzwyczajny na wydziale elektrotechniki Uniwersytetu Kalifornijskiego w Berkeley. „Zasadniczo RT-2 można uważać za kompletną wersję tego, co osiągają PaLM-E + RT1 w jednym modelu” - powiedział Levine, który pracował nad projektem PaLM-E. „Dzięki temu transfer wiedzy na skalę internetową do robotów jest bardziej bezpośredni i może zapewnić bardziej skalowalną klasę podejść w przyszłości”.

W przypadku RT-2 jest to następca ubiegłorocznej wersji RT-1. Różnica między RT-1 i RT-2 polega na tym, że pierwszy RT był oparty na małym programie językowym i wizyjnym EfficientNet-B3. Ale RT-2 opiera się na PaLI-X i PaLM-E, tak zwanych modelach dużego języka. Oznacza to, że mają znacznie więcej wag neuronowych lub parametrów, które zwykle zwiększają wydajność programów. PaLI-X ma 5 miliardów parametrów w jednej wersji i 55 miliardów w drugiej. PaLM-E ma 12 miliardów.

Szkolenie RT-2 obejmuje kombinacje obrazu i tekstu oraz działania wyodrębnione z zarejestrowanych danych robota.

Po przeszkoleniu RT-2 autorzy przeprowadzają serię testów, podczas których robot musi podnosić przedmioty, przenosić je, upuszczać itp., a wszystko to poprzez wpisywanie poleceń w języku naturalnym i wyświetlanie obrazu w wierszu zachęty , podobnie jak proszenie ChatGPT o napisanie czegoś.

Na przykład po wyświetleniu monitu, na którym obraz przedstawia stół z kilkoma puszkami i batonikiem:

Given  Instruction: Pick the object that is different from all other objects

Robot wygeneruje akcję, której towarzyszą współrzędne podniesienia batonika:

Prediction: Plan: pick rxbar chocolate. Action: 1 128 129 125 131 125 128 127

Trzycyfrowe liczby są kluczami do księgi kodów ruchów współrzędnych.

RT-2, po otrzymaniu monitu, wygeneruje zarówno plan działania, jak i serię współrzędnych w odstępie, aby wykonać te działania.

Kluczowym aspektem jest to, że wiele elementów zadań może stanowić zupełnie nowe, nigdy wcześniej nie widziane obiekty. „RT-2 potrafi uogólniać różne sytuacje w świecie rzeczywistym, które wymagają rozumowania, zrozumienia symboli i rozpoznania przez człowieka” - opowiadają.

W rezultacie „obserwujemy szereg pojawiających się możliwości”. „Model jest w stanie ponownie wykorzystać umiejętności wybierania i umieszczania wyuczone na podstawie danych robota, aby umieszczać obiekty w pobliżu semantycznie wskazanych lokalizacji, takich jak określone liczby lub ikony, mimo że tych wskazówek nie ma w danych robota. Model może również interpretować relacje między obiektów, aby określić, który obiekt wybrać i gdzie go umieścić, pomimo braku takich relacji w demonstracjach robotów.

W testach z RT-1 i innymi programami, RT-2 używający PaLI-X lub PaLM-E jest znacznie bardziej biegły w wykonywaniu zadań, osiągając średnio około 60% zadań z wcześniej niewidzialnymi obiektami, w porównaniu z mniej niż 50% w przypadku poprzednich programów.

Istnieją również różnice pomiędzy PaLI-X, który nie został opracowany specjalnie dla robotów, a PaLM-E, który jest. „Zauważamy również, że podczas gdy większy model oparty na PaLI-X zapewnia średnio lepsze zrozumienie symboli, rozumowanie i rozpoznawanie osób, mniejszy model oparty na PaLM-E ma przewagę w zadaniach wymagających rozumowania matematycznego”. Autorzy przypisują tę zaletę „różnej mieszaninie przedtreningowej zastosowanej w PaLM-E, co skutkuje modelem, który ma większe możliwości w zakresie obliczeń matematycznych niż w większości wstępnie wyszkolony wizualnie PaLI-X”.

Autorzy doszli do wniosku, że wykorzystanie programów wizja-język-działanie może „umieścić dziedzinę uczenia się robotów na strategicznej pozycji umożliwiającej dalszą poprawę wraz z postępem w innych dziedzinach”, dzięki czemu podejście to może przynieść korzyści w miarę poprawy obsługi języka i obrazu.

Jest jednak jedno zastrzeżenie, które wraca do koncepcji sterowania robotem w czasie rzeczywistym. Duże modele językowe wymagają bardzo dużej mocy obliczeniowej, co utrudnia uzyskanie odpowiedzi.

„Koszt obliczeń tych modeli jest wysoki, a ponieważ metody te są stosowane do ustawień wymagających kontroli wysokich częstotliwości, wnioskowanie w czasie rzeczywistym może stać się głównym wąskim gardłem” - piszą. „Ekscytującym kierunkiem przyszłych badań jest zbadanie technik kwantyzacji i destylacji, które mogłyby umożliwić działanie takich modeli z większą szybkością lub na tańszym sprzęcie”.