Jak plan IBM dotyczący transformacji branży wykorzystuje sztuczną inteligencję, 5G i współpracę
Firma demonstruje również wstępne szkolenie modelu sztucznej inteligencji o bilionie parametrów na jednej maszynie przy użyciu konwencjonalnych układów pamięci DDR5.
Cerebras wykorzystała łańcuch myślowy w momencie wnioskowania, aby mniejszy model sztucznej inteligencji był równy większemu modelowi lub lepszy.
Firma Cerebras Systems ogłosiła we wtorek, że dzięki dodaniu coraz popularniejszego podejścia do generatywnej sztucznej inteligencji (AI) znanego jako „łańcuch myślenia” lama firmy Meta Platforms działa równie dobrze w małej wersji, jak w dużej wersji. Producent komputerów AI ogłosił postęp na początku corocznej konferencji NeurIPS poświęconej sztucznej inteligencji.
„Jest to funkcja dostępna wyłącznie w przypadku oprogramowania o zamkniętym kodzie źródłowym, ale chcieliśmy wprowadzić ją do najpopularniejszego ekosystemu, jakim jest Lama” - powiedział James Wang, szef działu marketingu produktów Cerebras, w wywiadzie dla ZDNET.
Projekt jest najnowszym z szeregu projektów typu open source, które Cerebras wykonała w celu zademonstrowania możliwości specjalnie zaprojektowanego komputera AI „CS-3”, który sprzedaje, konkurując ze status quo w dziedzinie sztucznej inteligencji - chipów GPU od zwyczajowych dostawców, Nvidii i AMD.
Firmie udało się wytrenować model sztucznej inteligencji typu open source Llama 3.1, który wykorzystuje tylko 70 miliardów parametrów, aby osiągnąć tę samą lub lepszą dokładność w różnych testach porównawczych, co znacznie większa wersja Llama o 405 miliardach parametrów.
Testy te obejmują test CRUX „złożonych zadań rozumowania” opracowany w MIT i Meta oraz LiveCodeBench do wyzwań związanych z generowaniem kodu, opracowany na Uniwersytecie Kalifornijskim. Berkeley, MIT i Cornell University.
Łańcuch myślenia może umożliwić modelom zużywającym mniej czasu szkolenia, danych i mocy obliczeniowej dorównanie lub przewyższenie wydajności dużego modelu.
„Zasadniczo pokonujemy teraz Lamę 3.1 405B, model około siedem razy większy, po prostu dzięki temu, że więcej myślimy w czasie wnioskowania” - powiedział Wang.
Ideą przetwarzania łańcucha myśli jest to, że model sztucznej inteligencji szczegółowo opisuje sekwencję obliczeń wykonywanych w celu uzyskania ostatecznej odpowiedzi, aby osiągnąć „wyjaśnioną” sztuczną inteligencję. Taka dająca się wyjaśnić sztuczna inteligencja mogłaby zwiększyć zaufanie ludzi do jej przewidywań, ujawniając podstawy odpowiedzi.
OpenAI spopularyzowało podejście oparte na łańcuchu myślowym dzięki niedawno wydanemu modelowi dużego języka „o1”.
Odpowiedź Cerebras na o1, zwana „Planowaniem i optymalizacją Cerebras” lub CePO, polega na wymaganiu od Lamy - w momencie przesłania podpowiedzi - „sporządzenia planu rozwiązania danego problemu krok po kroku”, wykonania plan wielokrotnie, przeanalizuj odpowiedzi na każde wykonanie, a następnie wybierz najlepszą odpowiedź.
„W przeciwieństwie do tradycyjnego LLM, gdzie kod jest dosłownie składany żeton po żetonie, system sprawdzi swój własny kod, który wygenerował i sprawdzi, czy ma to sens?” Wang wyjaśnił. „Czy występują błędy składniowe? Czy rzeczywiście osiąga to, o co prosi osoba? I wykona tego rodzaju pętlę logiczną polegającą na wielokrotnym wykonywaniu planu i sprawdzaniu krzyżowym”.
Oprócz dorównania lub przekroczenia modelu 405B Llama 3.1, Cerebras był w stanie wykorzystać najnowszą wersję Llama 3.3 i sprawić, że będzie działać na poziomie „pograniczych” dużych modeli językowych, takich jak Claude 3.5 Sonnet firmy Anthropic i GPT-4 firmy OpenAI Turbo.
„Wydaje mi się, że po raz pierwszy ktoś sięgnął po model 70B, powszechnie uważany za średniej wielkości, i osiągnął pionierskie parametry” - powiedział Wang.
W humorystyczny sposób Cerebras poddał także Lamę „Testowi Truskawkowemu”, co było podpowiedzią nawiązującą do nazwy kodowej „truskawka” o1 OpenAI. Kiedy mnoży się liczby „r”, np. „strrawberry”, a modele językowe są proszone o podanie liczby r, często kończą się one niepowodzeniem. Lama 3.1 była w stanie dokładnie powiązać różne liczby r za pomocą łańcucha myślowego.
Z korporacyjnego punktu widzenia Cerebras pragnie zademonstrować przewagę sprzętową i programową swojego komputera AI CS-3.
Prace nad Lamą przeprowadzono na CS-3 przy użyciu chipa WSE3 firmy Cerebras, największego półprzewodnika na świecie. Firma była w stanie uruchomić model Llama 3.1 70B, a także nowszą Llamę 3.3, bez typowych opóźnień wywoływanych w o1 i innych modelach działających na chipach Nvidia i AMD, powiedział Wang.
Jak twierdzi firma, oparta na łańcuchu myślowym wersja 3.1 70B to „jedyny model rozumowania działający w czasie rzeczywistym” podczas pracy na platformie Cerebras CS-3. „Model wnioskowania OpenAI o1 działa w kilka minut, a CePO w kilka sekund”.
Cerebras, który niedawno wprowadził coś, co nazywa „najszybszą na świecie usługą wnioskowania”, twierdzi, że maszyny CS-3 są 16 razy szybsze niż najszybsza usługa na chipach GPU, przy 2100 tokenach przetwarzanych na sekundę.
Eksperyment Cerebras potwierdza rosnące poczucie, że nie tylko uczenie modeli sztucznej inteligencji, ale także tworzenie prognoz na etapie produkcyjnym, jest dostosowywane do coraz większych potrzeb obliczeniowych w miarę zwiększania się złożoności podpowiedzi.
Ogólnie rzecz biorąc, powiedział Wang, dokładność dużych modeli językowych będzie się poprawiać proporcjonalnie do ilości zastosowanych obliczeń, zarówno podczas uczenia, jak i wnioskowania; jednakże współczynnik poprawy wydajności będzie się różnić w zależności od zastosowanego podejścia w każdym przypadku.
„Różne techniki będą skalować obliczenia w różnym stopniu” - powiedział Wang. „Nachylenie linii będzie inne. Niezwykłą rzeczą - i powodem, dla którego mówi się o prawach skalowania - jest fakt, że skaluje się w ogóle i pozornie bez końca”.
„Klasyczny pogląd był taki, że ulepszenia ustabilizują się i potrzebne będą przełomowe algorytmy” - powiedział. „Prawa dotyczące skalowania mówią: «Nie, możesz po prostu przeznaczyć na to więcej mocy obliczeniowej, bez praktycznych ograniczeń». Rodzaj sieci neuronowej, metoda rozumowania itp. wpływa na tempo poprawy, ale nie na jej skalowalność.”
W różnych implementacjach łańcuch myślowy może generować albo pełną serię wyników pośrednich, albo rodzaj komunikatu o statusie mówiącego coś w rodzaju „myślenia”. Zapytany, który produkt wybrał Cerebras, Wang odpowiedział, że sam nie widział rzeczywistego rezultatu, ale „prawdopodobnie jest on szczegółowy. Kiedy wypuszczamy rzeczy, które mają służyć lamie i modelom open source, ludzie lubią widzieć pośrednie wyniki”.
Cerebras demonstruje wstępne szkolenie modelu języka o bilionach parametrów na jednej maszynie, wykorzystując 55 terabajtów standardowej pamięci DRAM.
Również we wtorek firma Cerebras ogłosiła, że w ramach projektu badawczego prowadzonego z Sandia National Laboratories, laboratorium prowadzonym przez Departament Energii Stanów Zjednoczonych, wykazała „wstępne” szkolenie dużego modelu językowego o bilionie parametrów.
Prace wykonano na pojedynczym CS-3 w połączeniu ze specjalnie zbudowanym komputerem pamięciowym MemX. Specjalną wersję MemX zwiększono do 55 terabajtów pamięci, aby przechowywać wagi parametrów modelu, które następnie przesyłano strumieniowo do CS-3 za pośrednictwem dedykowanego komputera sieciowego Cerebras, SwarmX.
Cerebras twierdzi, że system CS-3 zastąpi 287 z najwyższej klasy procesorów i procesorów graficznych „Grace Blackwell 200” firmy Nvidia, które są potrzebne do uzyskania dostępu do równoważnej pamięci.
Połączenie CS-3 i MemX zajmuje dwa standardowe stojaki ze sprzętem telekomunikacyjnym, powiedział Wang. Firma twierdzi, że zajmuje to mniej niż jeden procent przestrzeni i mocy równoważnego układu GPU.
Urządzenie MemX wykorzystuje standardową pamięć DRAM, znaną jako DDR-5, w przeciwieństwie do kart graficznych, które mają droższą „pamięć o dużej przepustowości” lub HBM.
„Nie ma to wpływu na łańcuch dostaw HBM, więc można go niezwykle łatwo nabyć i jest niedrogi” - powiedział Wang.
Cerebras twierdzi, że jego system klastrowy znacznie zmniejsza ilość kodu niezbędnego do programowania w modelu obejmującym bilion parametrów.
Cerebras obstawia, że prawdziwą wypłatę przyniesie model programowania. Aby wspólnie zaprogramować setki procesorów graficznych, powiedział Wang, potrzeba w sumie 20 507 linii kodu do koordynowania kodu Pythona, C i C++ oraz powłoki modeli sztucznej inteligencji i innych zasobów. To samo zadanie można wykonać na maszynie CS-3 z 565 liniami kodu.
„To nie jest potrzeba tylko z punktu widzenia sprzętu, jest to o wiele prostsze z punktu widzenia programowania” - powiedział - „ponieważ można wrzucić ten model zawierający bilion parametrów bezpośrednio do tego bloku pamięci”, podczas gdy procesory graficzne wymagają „zarządzania” w „tysiącach 80-gigabajtowych bloków” pamięci HBM w celu koordynowania parametrów.
W ramach projektu badawczego przeszkolono model sztucznej inteligencji, który nie został ujawniony, w 50 krokach szkoleniowych, chociaż nie przeszkolono go jeszcze do „konwergencji”, czyli do stanu końcowego. Wytrenowanie modelu o bilionach parametrów w kierunku zbieżności wymagałoby znacznie większej liczby maszyn i więcej czasu.
Jednakże Cerebras współpracował później z Sandią przy przeprowadzaniu szkoleń na 16 maszynach CS-3. Według Wanga wydajność wzrasta w sposób „liniowy”, przy czym dokładność uczenia wzrasta proporcjonalnie do liczby komputerów umieszczonych w klastrze.
„GPU zawsze wymagało skalowania liniowego, ale jest to bardzo, bardzo trudne do osiągnięcia” - powiedział Wang. „Cały sens naszego klastra w skali płytki polega na tym, że ponieważ pamięć jest jednolitym blokiem, obliczenia są oddzielne, a pomiędzy nimi znajduje się struktura, nie musisz się tym martwić”.
Chociaż praca z Sandią nie doprowadziła modelu do konwergencji, takie szkolenie na dużym modelu „jest bardzo ważne dla naszych klientów” - powiedział Wang. „To dosłownie krok pierwszy przed wykonaniem dużego cyklu, który kosztuje tak dużo pieniędzy”, co oznacza pełną konwergencję, powiedział.
Jeden z największych klientów firmy, firma inwestycyjna G42 ze Zjednoczonych Emiratów Arabskich, „jest bardzo zmotywowana do osiągnięcia wyniku na światowym poziomie” - stwierdził. „Chcą wytrenować bardzo, bardzo duży model”.
Sandia prawdopodobnie opublikuje wyniki eksperymentu, gdy będą znane „końcowe wyniki” - powiedział Wang.
Konferencja NeurIPS to jedno z najważniejszych wydarzeń w dziedzinie sztucznej inteligencji, często towarzyszące pierwszemu publicznemu ujawnieniu przełomów. Pełny harmonogram tygodniowego wydarzenia można znaleźć na stronie internetowej NeurIPS.