Czym dokładnie jest komputer AI? I czy powinieneś go kupić w 2025 roku?

Google powiedział, że szkolenie dużych modeli jest "ogromnym celem" dla firmy i powinno przyciągnąć więcej uwagi w wynikach testów porównawczych.

Centrum danych Google z szafami z chipami akceleracyjnymi TPU w wersji 4 do przetwarzania uczenia maszynowego. Google wykorzystał klaster 2048 TPU do wytrenowania swojej największej w historii wersji programu języka naturalnego, składającej się z 481 miliardów parametrów, w ciągu 19 godzin, jako zgłoszenie do konkursu porównawczego MLPerf.

Świat sztucznej inteligencji oparty na głębokim uczeniu ma obsesję na punkcie rozmiaru. 

Programy do głębokiego uczenia, takie jak GPT-3 firmy OpenAI, nadal wykorzystują coraz więcej układów graficznych firm Nvidia i AMD - lub nowatorskich rodzajów układów akceleracyjnych - do tworzenia coraz większych programów. Dokładność programów wzrasta wraz z rozmiarem, twierdzą naukowcy.

Ta obsesja na punkcie rozmiaru była w pełni widoczna w środę w najnowszych wynikach testów porównawczych branży zgłoszonych przez MLCommons, które wyznaczają standard mierzenia, jak szybko chipy komputerowe mogą przetwarzać kod głębokiego uczenia. 

Google zdecydowało się nie poddawać żadnym standardowym testom porównawczym głębokiego uczenia, które składają się z programów o ugruntowanej pozycji w tej dziedzinie, ale stosunkowo przestarzałych. Zamiast tego inżynierowie Google pokazali wersję programu języka naturalnego firmy Google, której nie używał żaden inny dostawca. 

MLPerf, pakiet testów porównawczych używany do mierzenia wyników w konkurencji, raportuje wyniki dla dwóch segmentów: standardowego działu "zamkniętego", w którym większość dostawców konkuruje w sieciach o ugruntowanej pozycji, takich jak ResNet-50; oraz dział "Otwarty", który pozwala dostawcom wypróbować niestandardowe podejścia. 

To właśnie w dziale Open Google pokazał komputer wykorzystujący 2048 chipów TPU firmy Google w wersji 4. Maszyna ta była w stanie opracować program w ciągu około 19 godzin. 

Program, sieć neuronowa z 481 miliardami parametrów, nie został wcześniej ujawniony. Jest o ponad trzy rzędy wielkości większy niż standardowa wersja w obiegu, znana jako "Large", która ma zaledwie 340 milionów parametrów. Posiadanie znacznie większej liczby parametrów zazwyczaj wymaga znacznie większej mocy obliczeniowej. 

Google twierdzi, że nowatorskie zgłoszenie odzwierciedla rosnące znaczenie skali w sztucznej inteligencji.

Google zgłosił nową wersję swojego programu w języku w "otwartym" dziale MLPerf. Graphcore i Samsung to pozostali dwaj dostawcy uczestniczący w tym podziale. 

"Tym razem myślimy tak, że zawsze zależało nam na tym, aby nasze zgłoszenia do MLPerf były dobrze dostosowane do naszych wewnętrznych potrzeb i potrzeb branży ML" - powiedział Aarush Selvan, który nadzoruje infrastrukturę uczenia maszynowego w Google, podczas briefingu dla mediów. 

"Tak więc, trenowanie dużych modeli - modeli rzędu dziesiątek lub setek miliardów parametrów, a nawet biliona parametrów i więcej, jest coraz ważniejsze zarówno w Google - to ogromny zestaw celów dla naszych badań i naszej produkcji - ale także dla naszych klientów w chmurze."

Zestaw testów MLPerf jest tworem MLCommons, konsorcjum branżowego, które wydaje wiele corocznych ocen porównawczych komputerów dla dwóch części uczenia maszynowego: tak zwanego trenowania, w którym sieć neuronowa jest budowana poprzez dopracowanie jej ustawień w wielu eksperymentach; oraz tak zwane wnioskowanie, w którym gotowa sieć neuronowa dokonuje przewidywań w miarę otrzymywania nowych danych. 

Środowy raport jest najnowszym testem porównawczym dla fazy treningowej. Jest to kontynuacja poprzedniego raportu z czerwca.

Pełne wyniki MLPerf zostały omówione w komunikacie prasowym na stronie MLCommons. Pełne dane dotyczące zgłoszeń można zobaczyć w tabelach zamieszczonych na stronie.

Selvan z Google powiedział, że MLCommons powinien rozważyć włączenie większej liczby dużych modeli. Starsze, mniejsze sieci, takie jak ResNet-50, "dają nam tylko proxy" do prowadzenia szkoleń na dużą skalę. 

"Rzucenie 4000 żetonów, aby wytrenować w zaledwie kilka sekund, jest naprawdę fajne" - zauważył Selvan, odnosząc się do mniejszej wersji, na której skupia się większość dostawców w dziale zamkniętym.

"Pokazuje też pewne aspekty skalowalności, ale tak naprawdę jest to tylko serwer proxy, ponieważ w prawdziwym życiu nigdy nie używa się tak wielu chipów do trenowania tak małego modelu".

"Rzucenie 4000 żetonów, aby wytrenować w zaledwie kilka sekund, jest naprawdę fajne" - zauważył Selvan, odnosząc się do mniejszej wersji, na której skupia się większość dostawców w dziale zamkniętym. "Pokazuje też pewne aspekty skalowalności, ale tak naprawdę jest to tylko serwer proxy, ponieważ w prawdziwym życiu nigdy nie używa się tak wielu chipów do trenowania tak małego modelu".

Brakującym elementem, powiedział Selvan, jest tak zwana wydajność systemów w miarę ich rozrastania się. Google był w stanie uruchomić swój gigantyczny model z 63% wydajnością, powiedział ZDNet, mierzoną liczbą operacji zmiennoprzecinkowych na sekundę wykonanych w stosunku do teoretycznej wydajności. To, jak powiedział, jest lepsze niż kolejny najwyższy wynik w branży, 52%, osiągnięty przez Nvidię w rozwoju modelu językowego Megatron-Turing opracowanego we współpracy z Microsoftem. 

"Idąc dalej, uważamy, że byłoby naprawdę wspaniale mieć jakiś duży model porównawczy w ramach konkursu MLPerf" - powiedział Selvan.

David Kanter, dyrektor wykonawczy MLCommons, powiedział, że decyzja o posiadaniu dużych modeli powinna być pozostawiona członkom Izby Gmin do wspólnej decyzji. Zaznaczył jednak, że wykorzystanie małych sieci neuronowych jako testów sprawia, że konkurs jest dostępny dla większej liczby stron. 

"Celem benchmarku jest to, aby był uczciwy i reprezentatywny, ale także aby nie doprowadzić do bankructwa nikogo, kto go prowadzi" - powiedział Kanter. 

"Teoretycznie moglibyśmy uczynić szkolenie GPT-3 punktem odniesienia MLPerf " - dodał Kanter, odnosząc się do 175-miliardowego modelu języka parametrów wprowadzonego przez OpenAI w zeszłym roku jako najnowocześniejszy model języka naturalnego. 

"Celem benchmarku jest bycie uczciwym i reprezentatywnym, ale także nie doprowadzenie do bankructwa nikogo, kto go prowadzi" - powiedział prezes MLCommons Kanter. "Teoretycznie moglibyśmy uczynić szkolenie GPT-3 punktem odniesienia MLPerf  ... Wyzwanie polega na tym, że szkolenie GPT-3 jest dość kosztowne obliczeniowo. To dziesiątki milionów dolarów".

"Wyzwanie polega na tym, że szkolenie GPT-3 jest dość kosztowne obliczeniowo. To dziesiątki milionów dolarów".

W przeciwieństwie do tego, standardowe testy MLPerf, których kod jest dostępny dla wszystkich, są zasobem, który każdy badacz sztucznej inteligencji może wykorzystać, aby odtworzyć testy - bez egzotycznego podejścia do obliczeń, powiedział Kanter. 

"W ten sposób wytwarza te bardzo cenne artefakty inżynieryjne dla całej społeczności i pomaga napędzać rozwój branży".

Google nie planuje publikować nowego modelu, powiedział Selvan ZDNet w e-mailu, opisując go jako "coś, co zrobiliśmy tylko dla MLPerf". Program jest podobny do projektów przedstawionych w badaniach przeprowadzonych przez Google na początku tego roku na temat wysoce równoległych sieci neuronowych. 

Pomimo nowości programu z 481 miliardami parametrów, jest on reprezentatywny dla rzeczywistych zadań, ponieważ opiera się na rzeczywistym kodzie. 

"Wierzymy, że te testy porównawcze, które przedstawiliśmy, ponieważ wykorzystują architekturę Transformera ułożonego w stos, są dość realistyczne pod względem charakterystyki obliczeniowej z istniejącymi dużymi modelami językowymi, które zostały opublikowane" - powiedział Selvan w rozmowie z ZDNet.

Podobnie jak mniejsze zgłoszenia w MLPerf, gigantyczny model został przeszkolony tak, aby generować wyniki z pewną dokładnością, wyjaśnia Selvan. W tym przypadku 75% dokładności w przewidywaniach, powyżej 72,2% wymaganych przez MLPerf. 

Układy Nvidia po raz kolejny zdobyły lwią część najwyższych wyników w trenowaniu sieci neuronowych, tym razem z niewielką pomocą Microsoft Azure.

Program Google opierał się również na mniejszej liczbie próbek danych tekstowych, aby osiągnąć taką samą dokładność, jak wyniki zamkniętego podziału innych dostawców. Zamknięty podział wymaga programu do trenowania z prawie pół miliardem sekwencji tokenów, w większości o długości 128 tokenów na sekwencję. Program Google został przeszkolony przy użyciu tylko około 20 milionów tokenów, ale przy długości 512 tokenów na sekwencję. Praca została omówiona bardziej szczegółowo w poście na blogu Google.

System 2,048-TPU, którego Google użył do wykonania tej pracy, jest obecnie dostępny jako usługa Google Cloud.

Pozostałe wyniki MLPerf, głównie w dziale zamkniętym, pokazują, że Nvidia i inni dostawcy nadal czynią postępy w skracaniu czasu potrzebnego na szkolenie standardowych wersji ResNet, i innych zadań. 

Nvidia, jak zawsze, zgarnęła lwią część najlepszych wyników. Na przykład komputery korzystające z najnowszej generacji procesora graficznego, A100, zajęły cztery pierwsze miejsca pod względem najszybszego czasu trenowania ResNet-50, przy czym najszybszy był to zaledwie 21 sekund. Działo się tak przy 4320 A100 pracujących równolegle, z pomocą 1080 procesorów AMD EPYC x86. Rezultatem była poprawa w stosunku do 24 sekund, które Nvidia zanotowała w czerwcowym raporcie.

Jednak tam, gdzie systemy wykorzystywały mniej chipów Nvidii i mniej procesorów hosta, konkurenci byli w stanie uzyskać wyższe wyniki niż Nvidia. Firma Habana Labs firmy Intel zajęła piąte miejsce w rankingu ResNet-50 z 256 układami akceleratora Gaudi firmy Habana nadzorowanymi przez 128 procesorów Intel Xeon. 

Graphcore argumentował, że może zapewnić lepsze wyniki przy znacznie niższych kosztach niż systemy Nvidii, przy czym większą częścią oszczędności jest mniejsza liczba procesorów hosta Intela lub AMD potrzebnych do równoważnej liczby akceleratorów AI. 

Graphcore, startup z siedzibą w Bristolu w Wielkiej Brytanii, który w czerwcowym raporcie uzyskał najlepszy wynik za system dwuprocesorowy podczas szkolenia, zajął szóste miejsce w rankingu ResNet-50 z nową wersją komputera IPU-POD, która wykorzystuje 256 układów akceleratora IPU i 32 procesory hosta AMD EPYC.

Wyniki Habana i Graphcore ResNet-50 wynosiły odpowiednio 3,4 minuty i 3,8 minuty. Dla porównania, 7,5 minuty zajmuje 7. miejsce Nvidii, 64-drożny system A100 z 16 procesorami EPYC.

Podobnie jak w czerwcowym raporcie, po raz pierwszy w akcji Graphcore, firma podkreśliła znaczenie znalezienia równowagi między wydajnością a kosztami wszystkich systemów. Firma powołała się na czas trwania ResNet-50 wynoszący 28 minut w swoim 16-kierunkowym systemie, czyli o minutę szybszy niż porównywalny system Nvidia DGXA100, który kosztuje znacznie więcej. 

"Nasz POD-16 przewyższa DGXA100... i jest to o połowę niższa cena katalogowa DGXA100" - powiedział Dave Lacey, główny architekt oprogramowania Graphcore, podczas briefingu dla mediów.

Znaczna część przewagi kosztowej wynika z mniejszego stosunku procesorów hosta Intel lub AMD x86 w stosunku do układów IPU.

Graphcore uplasował się na szóstym miejscu za układami Nvidii pod względem najwyższych wyników podczas treningu standardowego modelu, z czasem prawie 7 minut w porównaniu do 3 minut dla systemu Nvidia, który zajął piąte miejsce. Jednak system Graphcore wykorzystywał tylko 4 procesory AMD EPYC w porównaniu z 16 w systemie opartym na Nvidii. 

"Cena procesora hosta stanowi istotną część kosztu systemu" - powiedział Lacey. "Jak w przypadku każdego drogiego zasobu, używasz tylko tego, czego potrzebujesz".

Graphcore argumentuje, że jego niski stosunek procesora hosta - Intel lub AMD x86 - do układu akceleratora jest bardziej wydajnym modelem przetwarzania AI, który prowadzi do znacznych oszczędności kosztów.  

Zapytany o punkt widzenia Google dotyczący dużych zadań sieci neuronowych, Lacey powiedział, że główne wyniki MLPerf dobrze służą jako proxy dla rzeczywistych zadań. 

Oprócz indywidualnych osiągnięć dostawców, benchmark MLPerf pokazuje całkowite osiągnięcie branży chipów w przyspieszeniu wydajności sieci neuronowych, powiedział prezes MLCommons Kanter.

"Jeśli spojrzysz na trajektorię najlepszych wyników w treningu MLPerf w czasie, zobaczysz, że jest ona znacznie szybsza niż prawo Moore'a" - powiedział Kanter, odnosząc się do obowiązującej od wielu dziesięcioleci zasady półprzewodników, zgodnie z którą gęstość tranzystorów podwaja się mniej więcej co 18 miesięcy, co prowadzi do podwojenia wydajności.

"Dzięki optymalizacjom architektury, rozmiaru systemu, oprogramowania i partycjonowania modelu" - powiedział Kanter, dostawcom udaje się przyspieszyć działanie sieci neuronowych nawet 11 razy szybciej niż wynika to z historycznej trajektorii prawa Moore'a. 

Pakiet testów porównawczych nadal zyskuje wsparcie ze strony dostawców, z większą liczbą uczestników i większą liczbą zgłoszeń. Wyniki przedstawione dla wszystkich benchmarków łącznie wyniosły 175, w porównaniu ze 144 w czerwcowym raporcie. 

Tym razem do rywalizacji dołączyli nowi dostawcy. Na przykład Samsung Electronics przedstawił wyniki ze swojego superkomputera wykorzystującego 256 układów AMD i 1024 Nvidia A100. System ten, z pomocą kilku niestandardowych poprawek oprogramowania, miał drugi najszybszy wynik ze wszystkich systemów do trenowania normalnej wersji, zaledwie 25 sekund. 

Nowością tym razem byłarównież usługa chmurowa Azure firmy Microsoft, która podała wyniki dla 19 zgłoszeń wykorzystujących procesory AMD i Nvidia A100 w różnych konfiguracjach. Platforma Azure zdobyła dwa z pięciu pierwszych miejsc w siedmiu z ośmiu testów porównawczych.

Jeden z systemów Azure uzyskał najwyższy wynik, trenując model segmentacji obrazu na danych medycznych (wyzwanie KiTS19), używając 192 procesorów AMD EPYC i 768 procesorów A100.

"Chcemy zdemokratyzować superkomputery" — powiedział ZDNet Nidhi Chappell, szef działu obliczeń o wysokiej wydajności i sztucznej inteligencji w Azure. 

Powiedziała, że tworzenie komercyjnie dostępnych systemów, takich jak 768-way AI100, w chmurze "połączyło to, co najlepsze w HPC i AI, zamiast korzystać z waniliowej chmury, która obsługuje każde obciążenie". 

"Szkolenie w zakresie sztucznej inteligencji jest problemem związanym z HPC, a nasza wiedza specjalistyczna w zakresie HPC pomogła nam zbudować sztuczną inteligencję na dużą skalę" - powiedziała. "Chcemy zbudować infrastrukturę, która będzie zoptymalizowana pod kątem dużej skali". Obejmuje to systemy, które mają nawet 80 000 rdzeni. 

Microsoft pokazuje, że jego usługa w chmurze Azure "demokratyzuje obliczenia o wysokiej wydajności" dzięki pierwszemu zgłoszeniu szkoleniowemu MLPerf, przeprowadzonemu we współpracy z firmą Nvidia.

Ważnym powodem, dla którego warto wziąć udział w MLPerf, było pokazanie, że praca na tak dużą skalę może działać równie dobrze w środowisku chmurowym, jak i on-premise. 

"Udowodniliśmy, że jesteśmy w stanie zamaskować koszty ogólne związane z wirtualizacją chmury; Ten narzut jest prawie zdalny w chmurze", aby nie obniżał wydajności, powiedziała.

Zapytany o duże modele w porównaniu ze standardowymi zadaniami MLPerf, Chappell powiedział, że "to tylko kwestia czasu", zanim Azure przedstawi niestandardowe prace na dużą skalę, podobne do tego, co Google zrobił w dziale Open. 

- To się wydarzy.

Jednocześnie, jak powiedziała, standardowe testy MLPerf w dziale zamkniętym są przydatne, ponieważ "pokazują, jak szybko rozwija się sztuczna inteligencja; Jest to nieustanny proces optymalizacji."

Współpracownik Chappella w Nvidii, Shar Narasimhan, starszy menedżer produktu grupy Nvidia ds. produktów dla centrów danych, powiedział na tym samym briefingu, że standardowe testy MLPerf mają tę zaletę, że są jak jednolity tor, na którym wielu sportowców rywalizuje na równym boisku. 

"Jest to okazja dla wszystkich, aby przebiec dokładnie ten sam wyścig i porównać wyniki w" - powiedział  Narasimhan. "Kiedy patrzymy na wyniki olimpijskie, mamy dokładnie ten sam tor od ponad wieku, a to pozwala porównać wyścig, który odbył się 100 lat temu, z wynikami [jamajskiego sprintera] Usaina Bolta".

Oczywiście, biorąc pod uwagę największy na świecie opublikowany model NLP, Megatron-Turing, wydaje się, że Nvidia i Azure mogą zaoferować nowatorskie przesyłanie dużych modeli, tak jak zrobił to Google.

"Nie możemy porównywać tych modeli z nikim innym" - wyjaśnił Narasimhan, więc trudno jest uczynić taką pracę użyteczną w kontekście MLPerf. Nvidia nie zobowiązała się do żadnych przyszłych zgłoszeń dużych modeli.

Jeśli chodzi o to, co jest ważne dla branży, powiedział Narasimhan, to fakt, że wiele firm chce używać sztucznej inteligencji do konkretnych celów, "a nie gigantycznego modelu językowego, który potrzebuje 4000 chipów do działania". Mniejsze benchmarki mogą być wykorzystywane do przewidywania obciążeń i wydajności.

Selvan z Google powiedział, że Google zamierza w przyszłości nadal poddawać się testom porównawczym MLPerf dla zamkniętego oddziału. 

"Zobaczymy wszystkich z powrotem w zamkniętej lidze w przyszłym roku - miejmy nadzieję, że nie możemy obiecać, ale planujemy tam być" - powiedział.