Cerebras właśnie zbudował gigantyczny system komputerowy z 27 milionami „rdzeni” AI
Condor Galaxy to pierwszy etap partnerstwa Cerebras z G42 w Abu Zabi, które ma ostatecznie przynieść setki milionów dolarów dla systemu klastrowego obejmującego wiele kontynentów.
Współzałożyciel i dyrektor generalny Cerebras, Andrew Feldman, widziany tutaj, jak stoi na skrzyniach do pakowania systemów CS-2 przed ich instalacją w ośrodku hostingowym partnera Colovore w Santa Clara w Kalifornii.
Zapał wokół sztucznej inteligencji „nie jest sprawą Doliny Krzemowej, nie jest nawet zjawiskiem amerykańskim, obecnie występuje na całym świecie - to zjawisko globalne” - twierdzi Andrew Feldman, współzałożyciel i dyrektor generalny AI Computing uruchomienie Cerebras Systems.
W tym duchu firma Cerebras ogłosiła w czwartek, że zawarła kontrakt na budowę, jak to nazywa „największego na świecie superkomputera obsługującego sztuczną inteligencję”, o nazwie Condor Galaxy, w imieniu swojego klienta, G42, pięcioletniej firmy inwestycyjnej z siedzibą w Abu Zabi. Zjednoczone Emiraty Arabskie.
Maszyna koncentruje się na „uczeniu” sieci neuronowych - tej części uczenia maszynowego, w której ustawienia sieci neuronowej, jej „parametry” lub „wagi” muszą zostać dostrojone do poziomu, na którym są wystarczające do drugiego etapu , dokonywanie prognoz, zwane etapem „wnioskowania”.
Condor Galaxy jest wynikiem miesięcy współpracy pomiędzy Cerebras i G42, powiedział Feldman, i jest pierwszym ważnym ogłoszeniem ich strategicznego partnerstwa.
Początkowy kontrakt jest wart dla Cerebras ponad sto milionów dolarów, Feldman powiedział w wywiadzie dla ZDNET. Ostatecznie liczba ta wzrośnie wielokrotnie, aż do setek milionów dolarów przychodów, w miarę jak Cerebras będzie budował Condor Galaxy w wielu etapach.
Nazwa Galaktyki Kondor pochodzi od układu kosmologicznego znajdującego się 212 milionów lat świetlnych od Ziemi. W początkowej konfiguracji, zwanej CG-1, maszyna składa się z 32 komputerów Cerebras specjalnego przeznaczenia AI, CS-2, których chipy, zwane „Wafer-Scale-Engine” (WSE), łącznie przechowują łącznie 27 milionów rdzeni obliczeniowych, 41 terabajtów pamięci i przepustowości 194 bilionów bitów na sekundę. Nadzorują je 36 352 procesory serwerowe AMD EPYC x86.
32 maszyny CS-2 zostały połączone w sieć jako CG-1.
Maszyna działa z szybkością 2 exa-flopów, co oznacza, że może przetworzyć miliard miliardów operacji zmiennoprzecinkowych na sekundę.
„Wielkość” to najnowszy przykład innowacyjności firmy Cerebras, założonej w 2016 roku przez doświadczonych przedsiębiorców i innowatorów z branży półprzewodników i sieci. W 2019 roku firma zadziwiła świat odsłonięciem na GPW największego chipa, jaki kiedykolwiek wyprodukowano, chipa zajmującego niemal całą powierzchnię 12-calowej płytki półprzewodnikowej. To wprowadzony w 2021 roku WSE-2 napędza maszyny CS-2.
Uzupełnieniem CS-2 w CG-1 jest specjalny przełącznik „tkaninowy” firmy Cerebras, Swarm-X, i jego dedykowany koncentrator pamięci, Memory-X, które są używane do łączenia CS-2.
Twierdzenie, że jest to największy superkomputer obsługujący sztuczną inteligencję, jest nieco przesadne, ponieważ nie istnieje ogólny rejestr wielkości komputerów AI. Powszechnym miernikiem superkomputerów, listą TOP500, prowadzoną przez firmę Prometeus GmbH, jest lista konwencjonalnych superkomputerów wykorzystywanych do tak zwanych obliczeń o wysokiej wydajności.
Te maszyny są nieporównywalne, powiedział Feldman, ponieważ pracują z tak zwaną 64-bitową precyzją, gdzie każdy operand, czyli wartość, nad którą ma pracować komputer, jest reprezentowany komputerowi przez sześćdziesiąt cztery bity. System Cerebras reprezentuje dane w prostszej formie zwanej „FP-16”, wykorzystując tylko szesnaście bitów dla każdego systemu.
W 64-bitowych maszynach precyzyjnych Frontier, superkomputer znajdujący się w Narodowym Laboratorium Oak Ridge Departamentu Energii Stanów Zjednoczonych, jest najpotężniejszym superkomputerem na świecie, działającym z szybkością 1,19 exa-flopów. Ale nie można go bezpośrednio porównać do CG-1 przy 2 exa-flopach, powiedział Feldman.
Z pewnością same obliczenia CG-1 różnią się od wielu komputerów na planecie, o których można pomyśleć. „Pomyśl o pojedynczym komputerze o większej mocy obliczeniowej niż pół miliona MacBooków Apple współpracujących ze sobą w celu rozwiązania pojedynczego problemu w czasie rzeczywistym” - zaproponował Feldman.
Maszyna Condor Galaxy nie znajduje się fizycznie w Abu Zabi, ale jest zainstalowana w obiektach Colovore z siedzibą w Santa Clara w Kalifornii, dostawcy usług hostingowych, który konkuruje na rynku usług w chmurze z takimi firmami jak Equinix. Cerebras ogłosił już w listopadzie partnerstwo z firmą Colovore w zakresie modułowego superkomputera o nazwie „Andromeda”, który ma przyspieszyć duże modele językowe.
Statystyki CG-1 w fazie 1
Statystyki CG-1 w fazie 2
W ramach wieloletniego partnerstwa Condor Galaxy będzie rozwijał wersję CG-9, powiedział Feldman. Druga faza partnerstwa, oczekiwana na czwarty kwartał tego roku, podwoi powierzchnię CG-1 do 64 CS-2, z łącznie 54 milionami rdzeni obliczeniowych, 82 terabajtami pamięci i 388 teraflopami przepustowości. Ta maszyna podwoi przepustowość do 4 ex-flopów mocy obliczeniowej.
Łącząc to wszystko w czwartej fazie partnerstwa, która ma zostać zrealizowana w drugiej połowie 2024 r., Cerebras połączy tak zwaną „konstelację” dziewięciu wzajemnie połączonych systemów, każdy działający z szybkością 4 exa-flopów, co daje łącznie 36 exa-flopów pojemności w lokalizacjach na całym świecie, aby stworzyć tak zwany „największy na świecie połączony superkomputer AI”.
„To pierwsza z czterech maszyn exa-flop, które budujemy dla G42 w USA” - wyjaśnił Feldman, „a potem zbudujemy sześć kolejnych na całym świecie, co daje w sumie dziewięć połączonych ze sobą, czterech maszyny -flop produkujące 36 exa-flopów.
Jest to pierwsza maszyna, w której Cerebras nie tylko buduje klastrowy system komputerowy, ale także obsługuje go dla klienta. W rezultacie partnerstwo zapewnia firmie Cerebras wiele możliwości generowania przychodów.
Partnerstwo obejmie setki milionów dolarów bezpośredniej sprzedaży firmy Cerebras do G42, powiedział Feldman w miarę przechodzenia przez różne fazy partnerstwa.
„Ten kontrakt jest nie tylko większy niż wszystkie inne start-upy sprzedane razem w ciągu całego ich istnienia, ale ma wzrosnąć nie tylko do obecnych stu milionów [dolarów], ale dwa lub trzy razy więcej” - powiedział. nawiązując do konkurencyjnych start-upów AI, w tym Samba Nova Systems i Graphcore.
Ponadto „Wspólnie odsprzedajemy nadwyżki mocy obliczeniowej za pośrednictwem naszej chmury”, co oznacza umożliwienie innym klientom Cerebras wynajmowania pojemności w CG-1, gdy nie jest ona używana przez G42. Partnerstwo „oczywiście nadaje naszej chmurze całkowicie nową skalę” - powiedział, dzięki czemu „mamy teraz możliwość korzystania z dedykowanych superkomputerów AI jako usługi”.
Oznacza to, że ktokolwiek będzie chciał mocy obliczeniowej AI w chmurze, będzie mógł „wskoczyć na jeden z największych superkomputerów na świecie na dzień, tydzień, miesiąc, jeśli chcesz”.
Ambicje w zakresie sztucznej inteligencji wydają się być tak duże jak maszyna. „W ciągu następnych 60 dni ogłosimy kilka bardzo, bardzo interesujących modeli, które były szkolone na CG-1” - powiedział Feldman.
G42 to globalny konglomerat, zauważa Feldman, zatrudniający około 22 000 pracowników w dwudziestu pięciu krajach i posiadający pod swoją opieką dziewięć spółek operacyjnych. Spółka zależna firmy G42 Cloud obsługuje największą regionalną chmurę na Bliskim Wschodzie.
„Wspólna wizja G42 i Cerebras jest taka, że Condor Galaxy zostanie wykorzystany do sprostania najpilniejszym wyzwaniom społeczeństwa w zakresie opieki zdrowotnej, energii, działań klimatycznych i nie tylko” - powiedział Talal Alkaissi, dyrektor generalny G42 Cloud, w przygotowanych uwagach.
Joint venture pomiędzy G42 i inną firmą inwestycyjną Mubadala Investments z Abu Zabi. Co., M42, jest jednym z największych sekwenserów genomiki na świecie.
„Są w pewnym sensie pionierami w wykorzystaniu sztucznej inteligencji i zastosowań w opiece zdrowotnej w Europie i na Bliskim Wschodzie” - zauważył Feldman z G42. W ciągu ostatnich 3 lat firma wydała 300 publikacji poświęconych sztucznej inteligencji.
„Oni [G42] potrzebowali kogoś, kto ma doświadczenie w budowaniu bardzo dużych superkomputerów AI, ma doświadczenie w opracowywaniu i wdrażaniu dużych modeli sztucznej inteligencji oraz ma doświadczenie w manipulowaniu bardzo dużymi zbiorami danych i zarządzaniu nimi” - powiedział Feldman. , w pewnym sensie naprawdę doskonaliliśmy się przez ostatnie dziewięć miesięcy.
Feldman podkreślił, że maszyny CG-1 będą mogły skalować się do coraz większych modeli sieci neuronowych bez konieczności tworzenia wielokrotnie większej ilości potrzebnego kodu.
„Jednym z kluczowych elementów tej technologii jest to, że umożliwia ona klientom takim jak G42 i ich klientom szybkie czerpanie korzyści z naszych maszyn” - powiedział Feldman.
W prezentacji slajdów podkreślił, jak sieć neuronową o miliardach parametrów, taką jak GPT OpenAI, można umieścić na jednym chipie GPU Nvidia z 1200 liniami kodu. Jednak aby skalować sieć neuronową do modelu o 40 miliardach parametrów, który działa na 28 415 procesorach graficznych Nvidia, ilość kodu wymagana do wdrożenia rozrasta się do prawie 30 000 linii, powiedział Feldman.
Jednak w przypadku systemu CS-2 model zawierający 100 miliardów parametrów można uruchomić z tymi samymi 1200 liniami kodu.
Cerebras twierdzi, że może skalować się do coraz większych modeli sieci neuronowych z tą samą ilością kodu w porównaniu z eksplozją kodu wymaganą do połączenia procesorów graficznych Nvidii.
„Jeśli chcesz umieścić model o wartości 40 miliardów, stu miliardów lub 500 miliardów parametrów, używasz dokładnie tych samych 1200 linii kodu” - wyjaśnił Feldman. „To naprawdę główna cecha wyróżniająca polega na tym, że nie musisz tego robić” - powiedział, pisząc więcej kodu.
Dla Feldmana skala najnowszego dzieła oznacza nie tylko wielkość samą w sobie, ale także próbę uzyskania jakościowo odmiennych wyników poprzez skalowanie od największego chipa do największych systemów klastrowych.
„Wiesz, kiedy zakładaliśmy firmę, myślałeś, że możesz pomóc zmienić świat, budując fajne komputery” - zastanawiał się Feldman. „W ciągu ostatnich siedmiu lat zbudowaliśmy coraz większe i większe komputery, a niektóre z największych.
„Teraz jesteśmy na dobrej drodze do zbudowania czegoś niewyobrażalnie dużego i to jest niesamowite - przejść się po centrum danych i zobaczyć, jak Twój sprzęt brzęczy, stojak za stojakiem”.