Zaskakująca rzecz wydarzyła się, gdy sieć neuronowa musiała wybierać własne neurony
Badania te ujawniają znaczenie różnorodności ewolucyjnej dla życia na Ziemi, a co jeszcze bardziej niewiarygodne, w maszynach.
Był czas, kiedy psy rasowe były symbolami statusu. Właściciele zachwycali się nienagannymi rodowodami owczarka niemieckiego lub cocker spaniela, czasami przechwalając się rodowodami, które przez wiele pokoleń przebiegają w jednej linii w tej samej rodzinie.
To pociąganie do czystości wzrosło w czasach hitlerowskich Niemiec, kiedy odrażano „skażone” linie rodowe owczarków niemieckich. Jednak to w epoce wiktoriańskiej XIX wieku ludzie bezlitośnie hodowali psy wsobne do tego stopnia, że wszystkie rasy, które obecnie widzimy - i ich dolegliwości, takie jak problemy z biodrami i innymi stawami - są wynikiem tego procesu chowu wsobnego.
Obecnie nacisk na czystość uległ zmianie i nadal dowiadujemy się więcej o genetyce, w szczególności o tym, że chów wsobny jest najszybszym sposobem na nabycie wyniszczających problemów zdrowotnych i niestabilnego temperamentu.
Teraz kundel rządzi. Wiemy, że im większa różnorodność środowisk, tym większa różnorodność organizmów, które pojawiają się po przystosowaniu się do nich - i ostatecznie, tym większa jest stabilność świata, w którym żyjemy.
We współczesnym świecie, bardziej niż w jakimkolwiek innym okresie współczesnej historii ludzkości, poszukuje się różnorodnych pul genowych, zwłaszcza że niestabilne środowisko i problemy związane ze zmianami klimatycznymi będą wymagały wytrzymalszych gatunków. Proces ten sam w sobie, jako prawo Ziemi, nie jest tak trudny do zrozumienia.
Ale co się stanie, jeśli maszyna wykaże tę samą zdolność do lepszego działania w bardziej zróżnicowanym środowisku inżynieryjnym?
Co więcej, co się stanie, jeśli maszyna faktycznie wybierze różnorodność po tym, jak pozwolono jej na kształtowanie jej własnych wnętrz — a jej wybory zaowocują niezrównanym wzrostem szybkości procesora?
Meta-uczenie się dla sztucznej inteligencji
Pytanie to zostało wystawione na próbę w przełomowym eksperymencie przeprowadzonym przez zespół badaczy (Anshul Choudhary, Anil Radhakrishnan, John F. Lindner, William Ditto i Sudeshna Sinha) z różnych instytucji (stan Karolina Północna, Indyjski Instytut Nauki , Mohali, College of Wooster). Ich celem było sprawdzenie, jakich wyborów operacyjnych dokonałyby zaawansowane sztuczna inteligencja, takie jak sieci neuronowe, pozostawione samym sobie.
„Stworzyliśmy system testowy wykorzystujący inteligencję inną niż ludzka, sztuczną inteligencję (AI), aby sprawdzić, czy sztuczna inteligencja wybierze różnorodność zamiast braku różnorodności i czy jej wybór poprawi wydajność sztucznej inteligencji” - stwierdza współautor artykułu autor William Ditto, profesor fizyki na Uniwersytecie NC i dyrektor Laboratorium Nieliniowej Sztucznej Inteligencji (NAIL) w stanie NC.
„Nasze prawdziwe mózgi mają więcej niż jeden typ neuronów” - mówi Ditto, ekstrapolując dalej wyniki eksperymentu, który zaczyna na nowo definiować sposób, w jaki patrzymy na różnorodność neurologiczną maszyn i związek z wydajnością.
„Daliśmy więc naszej sztucznej inteligencji możliwość spojrzenia do wewnątrz i podjęcia decyzji, czy należy zmodyfikować skład swojej sieci neuronowej. Zasadniczo daliśmy jej pokrętło sterujące jego własnym mózgiem. Aby mogła rozwiązać problem, spójrz na wynik, i zmieniaj typ i mieszaninę sztucznych neuronów, aż znajdzie najkorzystniejszy. To metauczenie się dla sztucznej inteligencji.
Różnorodność jest ewolucyjną koniecznością dla przetrwania i maksymalnej wydajności, także w przypadku maszyn.
Sieć neuronowa - będąca sercem większości konwencjonalnych, zaawansowanych sztucznej inteligencji - naśladuje sposób pracy naszych mózgów. Podobnie jak nasze mózgi wysyłają i odbierają impulsy elektryczne, które zależą od siły połączeń, tak samo dzieje się z sieciami neuronowymi, dostosowując wagi liczbowe i błędy systematyczne podczas treningu.
W miarę jak sieć neuronowa przechodzi szkolenie i próbuje na przykład określić, jak wyglądają autobusy, przeglądając dużą kolekcję zdjęć autobusów, sieć dostosowuje swoje wagi liczbowe i równoważy się, negocjując dobre i złe obrazy autobusów.
Siła połączeń między tymi neuronami zmienia się podczas procesu uczenia, ale zasadniczo pozostają one zablokowane, jeśli chodzi o ich skład.
Tak było do czasu, gdy naukowcy dali sieci neuronowej swobodę samoczynnej aktywacji - i wtedy wydarzyło się coś niezwykłego.
Wybieranie różnorodności w celu uzyskania najwyższej wydajności
Po pierwsze, sieć wybrała zupełnie inne lub heterogeniczne, nieliniowe układy neuronów.
Innymi słowy, system wybrał różnorodność zamiast identyczności w procesie zwanym „wyuczoną różnorodnością”.
Następnie okazało się, że samoselekcjonująca, heterogoniczna sieć neuronowa również przy tym samym treningu radziła sobie lepiej z siecią jednorodną.
Kiedy zespół poprosił sztuczną inteligencję o wykonanie „standardowego ćwiczenia klasyfikacji numerycznej”, samoczynnie wybierające się, różnorodne ćwiczenie sztucznej inteligencji przebiło jednorodne rodzeństwo o 70% do 57% pod względem dokładności.
Ditto twierdzi, że różnorodna sztuczna inteligencja może być nawet 10 razy dokładniejsza niż konwencjonalna sieć neuronowa.
„Pokazaliśmy, że jeśli dasz sztucznej inteligencji możliwość patrzenia do wewnątrz i uczenia się, jak się uczy, zmieni ona swoją wewnętrzną strukturę - strukturę sztucznych neuronów - aby uwzględnić różnorodność i poprawić jej zdolność do skutecznego uczenia się i rozwiązywania problemów i dokładniej” - mówi Ditto.
Dodał, że w miarę jak problemy stają się coraz bardziej złożone i chaotyczne, wydajność zróżnicowanej sieci neuronowej AI faktycznie poprawia się z czasem w porównaniu z niezróżnicowaną sztuczną inteligencją.
Według naukowców ta wyuczona różnorodność może nawet zwiększyć wydajność istniejących sztucznej inteligencji wykorzystujących fizykę, takich jak hamiltońskie sieci neuronowe.
W miarę wdrażania sztucznej inteligencji w niemal każdym zastosowaniu - wielu związanych z funkcjami zagrażającymi życiu i śmiercią, np. w samolotach i pojazdach autonomicznych - będziemy potrzebować systemów, które są znacznie solidniejsze i szybsze.
Zróżnicowana trajektoria ewolucyjna sprawiła, że ludzie, zwierzęta, rośliny i prawie wszystko, co przetrwało do tej pory na Ziemi, stało się historią sukcesu - wydaje się także, że w świecie maszyn oddziela zwycięzców od przegranych.