Pionier sztucznej inteligencji, Cerebras, ma za sobą „potworny rok” w dziedzinie hybrydowego przetwarzania sztucznej inteligencji
Twórca komputerów AI znajduje nową rolę w tworzeniu ogromnych klastrów komputerowych, które są wykorzystywane do wszelkiego rodzaju sztucznej inteligencji i zadań naukowych.
Założyciel Cerebras, Andrew Feldman, na skrzyniach do pakowania Condor Galaxy 1, czyli „CG-1”, masowo równoległego komputera AI zbudowanego dla klienta G42.
Świat tęskni za chipami GPU od dominującego dostawcy sztucznej inteligencji, firmy Nvidia. Jak dotąd nie spowodowało to znaczącego wzrostu sprzedaży chipów przez konkurencyjne firmy Advanced Micro Devices i Intel. Może jednak pomóc w zbudowaniu nowego rodzaju modelu obliczeniowego.
„Coraz częściej zdarza się, że istnieje jakaś alternatywa dla Nvidii” - powiedział Andrew Feldman, współzałożyciel i dyrektor generalny start-upu Cerebras Systems zajmującego się sztuczną inteligencją, który sprzedaje ogromny komputer AI, CS-2, wyposażony w największy na świecie chip .
Feldman i zespół zaczęli sprzedawać komputery, aby konkurować z procesorami graficznymi Nvidii cztery lata temu. Zabawna sytuacja wydarzyła się w drodze na rynek. Feldman coraz częściej przekonuje się, że jego działalność ma charakter hybrydowy, w ramach którego sprzedaje się pojedyncze systemy, ale znacznie większą sprzedaż masowo równoległych systemów, które Cerebras buduje miesiącami, a następnie uruchamia w imieniu klientów jako dedykowaną usługę przetwarzania w chmurze AI.
Feldman powiedział ZDNET, że biznes „całkowicie się zmienił” w przypadku Cerebras. „Zamiast kupować jedną lub dwie maszyny i umieszczać zadania [przetwarzania] na jednej maszynie na tydzień, klienci woleliby mieć je na 16 maszynach przez kilka godzin” - jest to model usługi w chmurze.
Wynik dla Cerebras jest następujący: „W przypadku sprzedaży sprzętu możesz zawrzeć mniejszą liczbę większych transakcji, a będziesz spędzać dużo czasu i wysiłku na zarządzaniu własną chmurą”.
W poniedziałek na konferencji superkomputerowej w Denver o nazwie SC23 Feldman i zespół zaprezentowali najnowsze osiągnięcie tej rozwijającej się chmury AI.
Firma ogłosiła, że zakończyła budowę ogromnego komputera AI, Condor Galaxy 1, czyli „CG-1”, zbudowanego dla klienta G42, pięcioletniej firmy inwestycyjnej z siedzibą w Abu Zabi w Zjednoczonych Emiratach Arabskich.
„Mamy teraz tak dużą moc obliczeniową, że inni ludzie korzystają z naszego systemu na różne kreatywne sposoby” - powiedział Feldman z Condor Galaxy.
Galaktyka Kondor, ogłoszona na początku tego roku, nosi nazwę galaktyki spiralnej znajdującej się 212 milionów lat świetlnych od Ziemi. Maszyna jest zbiorem 64 CS-2 firmy Cerebras. Całkowita wartość CG-1 jest, zdaniem Feldmana, nieco niższa niż koszt równoważnej liczby układów GPU Nvidii, rzędu 150 milionów dolarów, w oparciu o cenę 8-procesorowego komputera Nvidia „DGX” .
„To bardzo dobry interes” - powiedział Feldman o tak dużej sprzedaży biletów. „Mamy za sobą potworny rok” pod względem sprzedaży, powiedział. „W tym kwartale wygenerujemy większą sprzedaż niż wszystkie inne start-upy AI w ich historii razem wzięte” - dodał Feldman, nawiązując do konkurentów, takich jak Graphcore i Samba Nova Systems.
Maszyna Condor Galaxy nie znajduje się fizycznie w Abu Zabi, ale jest zainstalowana w obiektach Colovore z siedzibą w Santa Clara w Kalifornii, dostawcy usług hostingowych, który konkuruje na rynku usług w chmurze z takimi firmami jak Equinix.
Cerebras rozpoczyna budowę drugiej wersji Condor Galaxy, numer dwa, czyli „CG-2”, która doda kolejne 64 komputery i cztery kolejne „exaFLOPS” mocy obliczeniowej. (ExaFLOP to miliard miliardów operacji zmiennoprzecinkowych na sekundę, patrz Wikipedia), co daje łącznie 8 exaFLOPów dla systemu Condor Galaxy.
Oczekuje się, że system Condor Galaxy w ostatecznej konfiguracji będzie składał się z 36 exaFLOPów, wykorzystujących 576 komputerów CS-2, nadzorowanych przez 654 000 rdzeni procesorów AMD.
W nowym hybrydowym modelu biznesowym, powiedział Feldman, miarą sukcesu staje się nie tylko sprzedaż systemu, ale także odsetek nowych klientów wynajmujących pojemność w chmurze Cerebras bez żadnych zakupów z góry. „Czasami wysyłałeś im sprzęt, a oni go konfigurowali, a ty przeprowadzałeś próbę lub sprawdzałeś to na ich założeniu, a teraz dajemy ci login” - wyjaśnił Feldman o nowym sposobie sprzedaży.
Gigant farmaceutyczny GlaxoSmithKline, pierwszy klient sprzętu CS-2, również wynajmuje pojemność w chmurze Cerebras, powiedział Feldman. „Mają nasz sprzęt lokalnie, a gdy chcą wykonać gigantyczne biegi, korzystają z naszej chmury” - wyjaśnił. „A to bardzo interesujący model”.
„Mamy teraz tak dużą moc obliczeniową, że inni ludzie korzystają z naszego systemu na różne kreatywne sposoby” - powiedział Feldman. „W przestrzeni sztucznej inteligencji trenują interesujące modele, a w przestrzeni superobliczeniowej wykonują interesującą pracę - a to nie dotyczy nikogo innego”.
Feldman jako „niewiarygodnie interesującą” pracę AI wykonaną w Condor Galaxy wymienił rozwój dużego modelu językowego o otwartym kodzie źródłowym, podobnego do GPT OpenAI. Ten program to najskuteczniejszy model z 3 miliardami „parametrów” sieci neuronowej w repozytorium uczenia maszynowego Hugging Face, zauważył Feldman, z ponad miliardem pobrań. Program ten jest na tyle mały, że można go uruchomić na smartfonie i przeprowadzić wnioskowanie AI, co jest zamierzeniem, powiedział Feldman.
Jako przykład pracy naukowej Feldman przytoczył artykuł badawczy autorstwa naukowców z Uniwersytetu Nauki i Technologii Króla Abdullaha w Arabii Saudyjskiej, który był finalistą wybitnej nagrody Gordona Bella przyznawanej przez Association for Computing Machinery, organizatora wydarzenia SC23.
„Pożyczyliśmy im czas na Condor Galaxy, aby mogli pobić rekordy w przetwarzaniu danych sejsmicznych” - zauważył Feldman.
Prace nad pierwszą wersją Condor Galaxy, CG-1, trwały 70 dni, powiedział Feldman. Maszyna CG-2 będzie gotowa „na początku przyszłego roku”. Firma planuje już Condor Galaxy-3, który doda kolejne 64 maszyny i kolejne 4 exaFLOPS, co da łącznie 12 exaFLOPSów.
Jedną z kluczowych zalet maszyny takiej jak Condor Galaxy, zarówno 1, jak i 2, powiedział Feldman, jest inżynieria systemów. Powiedział ZDNET, że złożenie równoważnej liczby układów GPU jest niezwykle trudne. „Liczba osób, które mogą połączyć w sieć tysiąc procesorów graficznych, jest bardzo mała” - powiedział Feldman. „To może 25 firm”.
„Bardzo trudno jest efektywnie wykorzystać tak rozproszone zasoby obliczeniowe, jest to bardzo, bardzo trudny problem” - powiedział Feldman. „To jeden z problemów, który zasadniczo rozwiązujemy”.
Każdy komputer CS-2 w Condor Galaxy 1 i 2 zawiera jeden z nowatorskich chipów AI firmy Cerebras, „Wafer-Scale-Engine” (WSE). Każdy z tych chipów, największych na świecie, zawiera 850 000 oddzielnych „rdzeni” do równoległego przetwarzania instrukcji AI, co czyni je odpowiednikami wielu układów GPU.
Ponadto komputery CS-2 są uzupełniane przez specjalny przełącznik „tkaninowy” firmy Cerebras, Swarm-X, i jego dedykowany koncentrator pamięci, Memory-X, które są używane do łączenia CS-2.