Mniej znaczy dużo więcej, jeśli chodzi o sztuczną inteligencję, twierdzi DeepMind firmy Google

Programy AI sieci neuronowych, których funkcjonalność jest zmniejszona o 75%, mogą osiągnąć tę samą moc, co programy dwukrotnie większe.

Naukowcy odkrywają, że więcej można osiągnąć, usuwając trzy czwarte sieci neuronowej.

Głównym dążeniem w nauce o sztucznej inteligencji (AI) jest równowaga między wielkością programu a ilością wykorzystywanych przez niego danych. W końcu zakup układów GPU Nvidia do obsługi sztucznej inteligencji i gromadzenie miliardów bajtów danych do trenowania sieci neuronowych kosztuje prawdziwe pieniądze, dziesiątki milionów dolarów - a to, ile potrzeba, to pytanie o bardzo praktycznych implikacjach.

W zeszłym roku jednostka Google DeepMind skodyfikowała dokładną równowagę między mocą obliczeniową a danymi treningowymi jako rodzaj prawa sztucznej inteligencji. Ta praktyczna zasada, którą zaczęto nazywać „prawem szynszyli”, mówi, że możesz zmniejszyć rozmiar programu do zaledwie jednej czwartej jego początkowej wielkości, jeśli dodatkowo zwiększysz czterokrotnie ilość danych, na których jest on trenowany rozmiar.

Istotą Chinchilla jest to, że programy mogą osiągnąć optymalny wynik pod względem dokładności, a jednocześnie są mniej gigantyczne. Twórz mniejsze programy, ale trenuj dłużej na danych, mówi Chinchilla. Innymi słowy, w przypadku sztucznej inteligencji opartej na głębokim uczeniu się mniej znaczy więcej, z powodów, które nie są jeszcze do końca poznane.

W artykule opublikowanym w tym miesiącu DeepMind i jego współpracownicy opierają się na tym spostrzeżeniu, sugerując, że można osiągnąć jeszcze lepsze rezultaty, usuwając całe części sieci neuronowej, co jeszcze bardziej zwiększy wydajność, gdy sieć neuronowa uderzy w ścianę.

Według głównego autora Eliasa Frantara z austriackiego Instytutu Nauki i Technologii oraz współpracowników z DeepMind, takie same wyniki pod względem dokładności można uzyskać w przypadku sieci neuronowej o połowę mniejszej niż inna, jeśli zastosuje się technikę zwaną „rzadkością”.

Rzadkość, mało znany element sieci neuronowych badany od lat, to technika czerpiąca z rzeczywistej struktury ludzkich neuronów. Rzadkość odnosi się do wyłączania niektórych połączeń między neuronami. W ludzkim mózgu połączenia te nazywane są synapsami.

Zdecydowana większość ludzkich synaps nie łączy się. Jak zaobserwowali w 2021 roku naukowiec Torsten Hoefler i zespół z ETH Zurich: „Mózgi biologiczne, zwłaszcza mózg ludzki, to struktury hierarchiczne, rzadkie i powtarzające się” - dodał: „im więcej neuronów ma mózg, tym jest on rzadszy”.

Uważa się, że gdyby można było w przybliżeniu przybliżyć to naturalne zjawisko bardzo małej liczby połączeń, można by zrobić o wiele więcej z dowolną siecią neuronową przy znacznie mniejszym wysiłku i o wiele mniej czasu, pieniędzy i energii.

W sztucznej sieci neuronowej, takiej jak model sztucznej inteligencji głębokiego uczenia się, odpowiednikiem połączeń synaptycznych są „wagi” lub „parametry”. Synapsy, które nie mają połączeń, byłyby wagami o wartości zerowej — niczego nie obliczają, więc nie zużywają żadnej energii obliczeniowej. Dlatego naukowcy zajmujący się sztuczną inteligencją nazywają rzadkość zerowaniem parametrów sieci neuronowej.

W nowym artykule DeepMind, opublikowanym na serwerze pre-print arXiv, Frantar i zespół pytają, czy mniejsze sieci mogą dorównać pracy większych sieci, jak pokazało poprzednie badanie, w jakim stopniu rzadkość może pomóc jeszcze bardziej zwiększyć wydajność poprzez usunięcie niektórych obciążeń ?

Naukowcy odkryli, że jeśli wyzeruje się trzy czwarte parametrów sieci neuronowej - czyniąc ją rzadszą - może ona wykonywać tę samą pracę co sieć neuronowa ponad dwukrotnie większa.

Jak to ujęli: „Kluczowym wnioskiem z tych wyników jest to, że w miarę jak trenujemy znacznie dłużej niż Chinchilla (optymalnie gęste obliczenia), coraz więcej rzadkich modeli zaczyna stawać się optymalnymi pod względem strat dla tej samej niezerowej liczby parametry.” Termin „gęsty model obliczeniowy” odnosi się do sieci neuronowej, która nie charakteryzuje się rzadkością, w związku z czym działają wszystkie jej synapsy.

„Dzieje się tak, ponieważ korzyści wynikające z dalszego uczenia gęstych modeli zaczynają w pewnym momencie znacznie zwalniać, umożliwiając rzadkim modelom ich wyprzedzenie”. Innymi słowy, normalne, nierzadkie modele - gęste modele - zaczynają się rozpadać tam, gdzie dominują wersje rzadkie.

Praktyczne implikacje tych badań są uderzające. Kiedy sieć neuronowa zaczyna osiągać swój limit wydajności, faktyczne zmniejszenie liczby jej parametrów neuronowych - wyzerowanie ich - spowoduje dalsze zwiększenie wydajności sieci neuronowej w miarę uczenia się sieci neuronowej netto przez coraz dłuższy czas.

„Optymalny poziom rzadkości stale rośnie wraz z dłuższym treningiem” - piszą Frantar i zespół. „Rzadkość zapewnia zatem środki do dalszej poprawy wydajności modelu przy stałym koszcie parametrów końcowych”.

Dla świata zaniepokojonego kosztami energii w coraz bardziej energochłonnych sieciach neuronowych dobrą wiadomością jest to, że naukowcy odkrywają, że jeszcze więcej można osiągnąć mniejszym nakładem środków.