3 lukratywne poboczne zajęcia, które możesz zacząć już teraz, dzięki generatorowi wideo Sora firmy OpenAI
Oprogramowanie wykorzystuje popularne podejście "uwagi", aby filmy z ustami mówców i kształtami fal dźwiękowych wzmacniały się nawzajem w sposób znacznie bardziej wydajny i dokładny niż poprzednie podejścia.
— Chociaż w kapsule przedsięwziąłeś bardzo dokładne środki ostrożności, abym cię nie usłyszał, widziałem, jak poruszają się twoje usta.
Faktem powszechnie wiadomo, że ludzie słyszą mowę nie tylko poprzez słuchanie uszami, ale także poprzez odbieranie sygnałów z ruchów ust, które obserwują ze strony mówiących.
Podobnie, połączenie obserwacji wizualnej z dźwiękiem może pomóc komputerowi lepiej analizować ludzką mowę. W pewnym sensie programy komputerowe potrafią czytać z ruchu warg, choć jest to pracochłonne zadanie.
Niedawne prace nad sztuczną inteligencją przeprowadzone przez Meta, firmę macierzystą Facebooka, Instagrama i WhatsAppa, sugerują bardziej efektywną drogę do dnia, w którym komputery będą czytać z ruchu warg tak dobrze, jak zrobił to HAL 9000, gdy dr David Bowman i dr Frank Poole próbowali ominąć czujniki audio wewnątrz kapsuły w filmie "2001".
W ubiegły piątek naukowcy zajmujący się sztuczną inteligencją Meta opublikowali raport badawczy, w którym udało im się radykalnie zmniejszyć wysiłek potrzebny do zaprojektowania oprogramowania do analizowania słów ruchów warg mówców w nagranych filmach. W ramach prac udało się również wykorzystać technologię czytania z ruchu warg w celu znaczącej poprawy rozpoznawania mowy w środowiskach akustycznych.
Program jest "o 75% dokładniejszy niż najlepsze audiowizualne systemy rozpoznawania mowy (które wykorzystują zarówno dźwięk, jak i obrazy mówcy, aby zrozumieć, co mówi dana osoba)" - stwierdzają autorzy.
Oczywiście, jest tu aspekt Metaverse: nie tylko program może być używany do natychmiastowego tłumaczenia, ale pewnego dnia może również "pomóc w generowaniu realistycznych ruchów ust w awatarach rzeczywistości wirtualnej, aby zapewnić prawdziwe poczucie obecności - to uczucie bycia tam z kimś, nawet jeśli jest na drugim końcu świata".
Dzieło to stanowi postęp w dwóch kierunkach. Jednym z nich jest uczenie się samonadzorowane, które unika konkretnych wskazówek, takich jak transkrypcje tekstu, a zamiast tego ma program spontanicznie boską strukturę w danych. Drugim obszarem rozwoju są tzw. multimodalne sieci neuronowe, które łączą dane różnego rodzaju w taki sposób, że wzajemnie się wzmacniają.
Rezultat, nazwany AV-HuBERT, "AV" oznacza audiowizualny, a "Hu" oznacza "ukrytą jednostkę", łączy sygnały słuchowe i wizualne w celu wykrywania słów na podstawie ruchów warg.
Główny autor Bowen Shi i jego koledzy Wei-Ning Hsu, Kushal Lakhotia i Abdelrahman Mohamed z Facebooka opublikowali w zeszły piątek swój artykuł pt. "Learning Audio-Visual Speech Representation By Masked Multimodal Cluster Prediction" na serwerze preprintów arXiv. Autorzy napisali również wpis na blogu, który może okazać się łatwiejszy do przyswojenia.
Jak wyjaśniają Shi & Co., wcześniejsze prace były również multimodalne, łącząc dane wizualne, klatki wideo z danymi audio, fragmenty fal w celu wytrenowania sieci neuronowej w celu przewidywania, jak one pasują.
Ale takie programy mają tendencję do polegania na pewnego rodzaju dodatkowych, przygotowanych wskazówkach, takich jak transkrypcja filmów z mówcami na zdania tekstowe, które następnie służą jako etykiety. Nowa praca podąża samokontrolowaną drogą, spontanicznie łącząc ze sobą wzory, bez zewnętrznej struktury.
"Jest to pierwszy system, który wspólnie modeluje mowę i ruchy warg na podstawie nieoznaczonych danych - surowego wideo, które nie zostało jeszcze transkrybowane" - piszą autorzy w swoim poście na blogu.
Wiele wcześniejszych modeli z adnotacjami na poziomie słowa czytało filmy z ruchu warg", aby trenować, "co jest kosztowne do zebrania, ponieważ wymagają informacji o granicach słów. W przeciwieństwie do tych modeli, nasze modele są w pełni wstępnie trenowane od podstaw przy użyciu proponowanego podejścia.
Wynaleziony przez nich program AV-HuBERT opiera się na programie audio o nazwie HuBERT, wprowadzonym w zeszłym roku przez Hsu i kolegów. Jak sama nazwa wskazuje, HuBERT wykorzystuje dwukierunkowe podejście sieci neuronowej Transformer opracowane w Google w 2018 roku.
"Maskując" części nagrania dźwiękowego, czyli pomijając fragmenty przebiegu fal dźwiękowych, sieć neuronowa HuBERT w swojej fazie uczenia musiała zrekonstruować, które fragmenty dźwięku pasują do siebie.
Teraz, w AV-HuBERT, Shi i jego zespół "łączą" fragmenty dźwięku z klatkami z filmów, na których ludzie mówią. Faza uczenia sieci neuronowej przebiega zasadniczo w dwóch etapach. Najpierw, podobnie jak oryginalny HuBERT tylko z dźwiękiem, używają podejścia uwagi, aby zamaskować dźwięk, a następnie grupują te przebiegi dźwiękowe w klastry, które to grupy przykładów są w pewien sposób zbliżone do siebie pod względem atrybutów.
Grupy te stają się następnie celem dla drugiego etapu sieci neuronowej. Multimodalna część AV-HuBERT jednocześnie maskuje zarówno obrazy ust prelegentów, jak i kształt fali dźwiękowej, a następnie stara się dopasować je do klastrów powstałych w pierwszej fali. W ten sposób program oblicza, które konfiguracje ust odpowiadają którym przebiegom audio, "ucząc się" w ten sposób korelacji ruchu ust i wyjścia audio.
Jest to w rzeczywistości podejście oparte na samokontroli, które tworzy strukturę bez wyraźnych wskazówek.
Struktura programu AV-HuBERT, zaczynająca się od danych wizualnych i dźwiękowych wprowadzanych na dole, a następnie wyprowadzanych do końcowych "klastrów" na górze.
Fuzja oznacza, że uwaga skupiona na klatkach obrazu i ta skierowana na przebiegi dźwiękowe wzmacniają się nawzajem, tworząc lepsze klastry niż te, które mogłyby powstać osobno. Klastry te stają się "celem" kolejnych zadań, takich jak czytanie z ruchu warg i rozpoznawanie mowy.
Jak wyjaśniają autorzy:
AV-HuBERT jednocześnie przechwytuje informacje językowe i fonetyczne dla niezamaskowanych regionów, zarówno z ruchu warg, jak i strumieni dźwiękowych do ich utajonych reprezentacji, a następnie koduje ich relacje czasowe dalekiego zasięgu, aby rozwiązać zadanie maskowanej predykcji.
Po samodzielnym wyuczeniu się AV-HuBERT w ten sposób, autorzy dokonują dostrojenia, wprowadzając rzeczywiste oznaczone wideo, godziny z formalnymi transkrypcjami, które mówią maszynie, gdzie znajdują się słowa w filmie.
Głównym zestawem danych używanym do testowania i trenowania programu AV-HuBERT jest LRS3, opracowany w 2018 r. przez Triantafyllosa Afourasa i współpracowników z Oksfordu, który jest "największym publicznie dostępnym zestawem danych do czytania z ruchu warg na poziomie zdania do tej pory. Składa się z ponad 400 godzin nagrań wideo, zaczerpniętych z przemówień TED i TEDx w języku angielskim z YouTube.
W wyniku samonadzorowanego treningu AV-HuBERT może przewidywać słowa z filmów prelegentów lepiej niż wszystkie wcześniejsze próby, piszą Shi i spółka.
Wyniki testów czytania z ruchu warg dla "proponowanego" systemu Meta, AV-HuBERT, Bottom i poprzednich najlepszych w swojej klasie programów.
Ale ważniejsze od surowego wyniku jest znaczne zmniejszenie ilości danych potrzebnych do wytrenowania programu.
"AV-HuBERT osiąga najnowocześniejsze wyniki przy użyciu 433 godzin transkrypcji tekstu, czyli o dwa rzędy wielkości mniej niż 31 000 godzin oznaczonych danych wykorzystanych w poprzednim najlepszym podejściu" - piszą.
Przy znacznie mniejszej ilości wymaganych danych możliwe jest wykonywanie zadań czytania z ruchu warg w językach, które mają znacznie mniej danych niż inne, tak zwanych językach o niskich zasobach. (Pomyśl na przykład o językach innych niż angielski, francuski i niemiecki).
Autorzy zauważają, że "w przyszłości AV-HuBERT może być stosowany do wielojęzycznego czytania z ruchu warg w językach o niskich zasobach" i że to samo "podejście można rozszerzyć na inne zastosowania wizualnej reprezentacji mowy, takie jak wzmacnianie i generowanie mowy".
Shi i jego koledzy dodali do swoich ustaleń drugi artykuł opublikowany w zeszłym tygodniu, opisujący wykorzystanie AV-HuBERT do automatycznego rozpoznawania mowy. W tym miejscu nacisk kładziony jest na to, jak lepiej analizować mowę w kontekście hałasu.
Rozpoznawanie mowy "wdrożone w scenariuszach spotkań jest narażone na bełkot, podczas gdy rozpoznawanie mowy używane w środowisku domowym w naturalny sposób napotyka odgłosy muzyki, gotowania lub odkurzania maszyny". Ich pytanie brzmi, czy taki hałas otoczenia może zostać zniwelowany przez AV-HuBERT.
Podczas treningu Shi i jego zespół mieszają klipy z szumami z klatką wideo AV-HuBERT i próbkami fal dźwiękowych. W rezultacie, jak piszą, program staje się dobry w omijaniu bełkotu. Do tego stopnia, że AV-HuBERT uzyskuje 50% redukcję wskaźnika błędów słownych (WER), czyli odsetka błędnych słów, w porównaniu z poprzednimi systemami rozpoznawania mowy.
"Nasze przyszłe prace obejmują zastosowanie audiowizualnego rozpoznawania mowy w rzeczywistych warunkach o niskich zasobach i wielojęzycznych" - piszą.
Jak realne jest coś takiego jak czytanie z ruchu warg HAL 9000? Pogląd, że sztuczna inteligencja jest teraz lepsza od ludzi w czytaniu z ruchu warg, został opisany w ostatnich latach w poprzednich pracach nad sztuczną inteligencją. Wskaźnik błędów słownych w najlepszym występie AV-HuBERT jest rzeczywiście znacznie lepszy niż w przypadku profesjonalnego czytania z ruchu warg i wynosi 26,9%. Wygląda na to, że większość ludzi potrafi czytać z ruchu warg tylko 40% (mylą się cztery razy na dziesięć). Oczywiście, w przypadku takich rzeczy, jak transkrypcja rozmów po fakcie, może to być ogromny impuls dla programów.
W praktyce jest jednak duże zastrzeżenie. To jest naprawdę symulacja czytania z ruchu warg. Wyniki AV-HuBERT przechodzą test na nagraniu wideo z puszki, a nie na żywej, swobodnej rozmowie na wolności, takiej jak ta z Bowmanem i Poole'em w filmie.
Na razie możesz być nadal bezpieczny w kapsule.