Kwantowy przełom Google jest "naprawdę niezwykły" - ale jest jeszcze wiele do zrobienia
Podczas dzisiejszego wydarzenia GTC firmy Nvidia, dyrektor generalny Jensen Huang ogłosił, że firma twierdzi, że ma ona potencjał do przekształcenia branż wartych wiele bilionów dolarów. Wybieramy nowości, skupiając się na infrastrukturze sprzętowej i programowej, która zasila aplikacje, które trafiają na pierwsze strony gazet.
GTC, flagowe wydarzenie Nvidii, zawsze jest źródłem ogłoszeń dotyczących wszystkiego, co związane ze sztuczną inteligencją. Edycja jesienna 2021 nie jest wyjątkiem. W swoim przemówieniu Huang podkreślił to, co Nvidia nazywa Omniverse. Omniverse to platforma do symulacji wirtualnego świata i współpracy firmy Nvidia do przepływów pracy 3D, łącząca jej technologie.
Opierając się na tym, co widzieliśmy, opisalibyśmy Omniverse jako podejście Nvidii do Metaverse. Więcej informacji na temat Omniverse można znaleźć w reportażu Stephanie Condon i Larry'ego Dignana na ZDNet. Możemy powiedzieć, że rzeczywiście, aby coś takiego zadziałało, potrzebne jest zbieg technologii.
Przyjrzyjmy się więc niektórym aktualizacjom w stosie technologicznym Nvidii, skupiając się na komponentach, takich jak duże modele językowe (LLM) i wnioskowanie.
Zobacz także: Wszystko ogłoszone na jesiennym GTC 2021 Nvidii.
NeMo Megatron, platforma open source firmy Nvidia z dużym modelem językowym
Nvidia zaprezentowała coś, co nazywa frameworkiem Nvidia NeMo Megatron do trenowania modeli językowych. Ponadto Nvidia udostępnia Megatron LLM, model z 530 miliardami, który można trenować dla nowych domen i języków.
Bryan Catanzaro, wiceprezes ds. badań nad stosowanym głębokim uczeniem w firmie Nvidia, powiedział, że "budowanie dużych modeli językowych dla nowych języków i domen jest prawdopodobnie największą jak dotąd aplikacją superkomputerową, a teraz te możliwości są w zasięgu przedsiębiorstw na całym świecie".
Podczas gdy LLM z pewnością cieszą się dużą popularnością i rosnącą liczbą zastosowań, użyteczność tej konkretnej oferty zasługuje na pewną kontrolę. Po pierwsze, szkolenie LLM nie jest dla osób o słabym sercu i wymaga głębokich kieszeni. Szacuje się, że wytrenowanie modelu takiego jak GPT-3 firmy OpenAI kosztuje około 12 milionów dolarów.
OpenAI nawiązało współpracę z firmą Microsoft i udostępniło interfejs API wokół GPT-3 w celu jego komercjalizacji. I jest wiele pytań, które należy zadać w związku z wykonalnością szkolenia własnego LLM. Oczywistym jest to, czy możesz sobie na to pozwolić, więc powiedzmy, że Megatron nie jest skierowany do przedsiębiorstwa w ogóle, ale do określonego podzbioru przedsiębiorstw w tym momencie.
Drugie pytanie brzmiałoby - po co? Czy naprawdę potrzebujesz własnego LLM? Catanzaro zauważa, że LLMS "udowodnił, że jest elastyczny i zdolny do odpowiadania na głębokie pytania dotyczące domen, tłumaczenia języków, rozumienia i streszczania dokumentów, pisania historii i programów obliczeniowych".
Imponujące osiągnięcia w zakresie sztucznej inteligencji opierają się na szeregu ulepszeń w zakresie oprogramowania i sprzętu, a Nvidia zajmuje się obydwoma.
Nie posunęlibyśmy się tak daleko, aby powiedzieć, że na przykład LLM "rozumieją" dokumenty, ale przyznajmy, że LLM są wystarczająco przydatne i będą coraz lepsze. Huang twierdził, że LLM "będą największą główną aplikacją HPC w historii".
Prawdziwe pytanie brzmi - po co budować własny LLM? Dlaczego nie skorzystać na przykład z API GPT-3? Zróżnicowanie konkurencyjne może być uzasadnioną odpowiedzią na to pytanie. Funkcja kosztu do wartości może być inna, w innym wcieleniu odwiecznego pytania "kup kontra zbuduj".
Innymi słowy, jeśli jesteś przekonany, że potrzebujesz LLM do zasilania swoich aplikacji i planujesz używać GPT-3 lub innego LLM z podobnymi warunkami użytkowania, często bardziej ekonomiczne może być trenowanie własnego. Nvidia wspomina o przypadkach użycia, takich jak tworzenie chatbotów specyficznych dla domeny, osobistych asystentów i innych aplikacji AI.
Aby to zrobić, bardziej sensowne byłoby rozpoczęcie od wstępnie wyszkolonego LLM i dostosowanie go do swoich potrzeb poprzez uczenie transferowe, zamiast trenowania go od zera. Nvidia zauważa, że NeMo Megatron opiera się na osiągnięciach Megatron, projektu open source prowadzonego przez naukowców Nvidii badających efektywne trenowanie modeli językowych dużych transformatorów na dużą skalę.
Firma dodaje, że framework NeMo Megatron umożliwia przedsiębiorstwom pokonanie wyzwań związanych z trenowaniem zaawansowanych modeli przetwarzania języka naturalnego. Tak więc, propozycja wartości wydaje się być następująca - jeśli zdecydujesz się zainwestować w LLM, dlaczego nie skorzystać z Megatrona? Chociaż brzmi to jak rozsądna propozycja, powinniśmy zauważyć, że Megatron nie jest jedyną grą w mieście.
Niedawno EleutherAI, kolektyw niezależnych badaczy sztucznej inteligencji, udostępnił na licencji open source swój model GPT-j z 6 miliardami parametrów. Ponadto, jeśli interesują Cię języki inne niż angielski, mamy teraz duży europejski model językowy biegle posługujący się językiem angielskim, niemieckim, francuskim, hiszpańskim i włoskim autorstwa Aleph Alpha. Wudao to chiński LLM, który jest również największym LLM z 1,75 biliona parametrów, a HyperCLOVA to koreański LLM z 204 miliardami parametrów. Ponadto zawsze istnieją inne, nieco starsze/mniejsze LLM typu open source, takie jak GPT2 lub i jego wiele odmian.
Dążenie do wnioskowania o modelu sztucznej inteligencji odnosi się do całkowitego kosztu posiadania i eksploatacji
Jednym zastrzeżeniem jest to, że jeśli chodzi o LLM, większe (jak w przypadku posiadania większej liczby parametrów) niekoniecznie oznacza lepsze. Innym jest to, że nawet z taką podstawą, jak Megatron, na której można budować, LLM są drogimi bestiami do szkolenia i obsługi. Oferta Nvidii ma zająć się oboma tymi aspektami, koncentrując się również na wnioskowaniu.
Megatron, jak zauważa Nvidia, jest zoptymalizowany pod kątem skalowania w poziomie w ramach akcelerowanej infrastruktury obliczeniowej na dużą skalę Nvidia DGX SuperPOD.™ NeMo Megatron automatyzuje złożoność szkolenia LLM dzięki bibliotekom przetwarzania danych, które pozyskują, selekcjonują, organizują i czyszczą dane. Wykorzystując zaawansowane technologie równoległości danych, tensorów i potoków, umożliwia trenowanie dużych modeli językowych w celu efektywnej dystrybucji na tysiącach procesorów graficznych.
A co z wnioskowaniem? W końcu, przynajmniej w teorii, trenuje się LLM tylko raz, ale model jest używany wiele, wiele razy do wnioskowania - generowania wyników. Faza wnioskowania operacji odpowiada za około 90% całkowitego kosztu energii operacji dla modeli AI. Tak więc wnioskowanie, które jest zarówno szybkie, jak i ekonomiczne, ma ogromne znaczenie i dotyczy to nie tylko LLM.
Nvidia rozwiązuje ten problem, ogłaszając główne aktualizacje swojego serwera Triton Inference Server, ponieważ 25 000+ firm na całym świecie wdraża wnioskowanie AI Nvidia. Aktualizacje obejmują nowe możliwości w oprogramowaniu Nvidia Triton Inference Server™ o otwartym kodzie źródłowym, które zapewnia wnioskowanie międzyplatformowe we wszystkich modelach i strukturach sztucznej inteligencji, oraz Nvidia TensorRT,™ które optymalizuje modele sztucznej inteligencji i zapewnia środowisko wykonawcze do wysokowydajnego wnioskowania na procesorach graficznych Nvidia.
Nvidia wprowadza szereg ulepszeń dla serwera Triton Inference Server. Najbardziej oczywistym powiązaniem z LLM jest to, że Triton ma teraz funkcję wielu węzłów GPU. Oznacza to, że LLM oparte na transformatorach, które nie mieszczą się już w jednym procesorze graficznym, mogą być wnioskowane na wielu procesorach graficznych i węzłach serwerów, co według Nvidii zapewnia wydajność wnioskowania w czasie rzeczywistym.
90% całkowitej energii wymaganej przez modele sztucznej inteligencji pochodzi z wnioskowania
Triton Model Analyzer to narzędzie, które automatyzuje kluczowe zadanie optymalizacyjne, pomagając wybrać najlepsze konfiguracje dla modeli AI spośród setek możliwości. Według Nvidii osiąga optymalną wydajność, zapewniając jednocześnie jakość usług wymaganą dla aplikacji.
RAPIDS FIL to nowy back-end do wnioskowania GPU lub CPU na podstawie losowych modeli lasów i drzew decyzyjnych wzmocnionych gradientem, który zapewnia programistom ujednolicony silnik wdrażania zarówno dla głębokiego uczenia, jak i tradycyjnego uczenia maszynowego z Triton.
Wreszcie, jeśli chodzi o oprogramowanie, Triton jest teraz wyposażony w integrację z Amazon SageMaker, umożliwiając użytkownikom łatwe wdrażanie modeli wieloplatformowych przy użyciu Triton w ramach SageMaker, w pełni zarządzanej usługi sztucznej inteligencji AWS.
Jeśli chodzi o sprzęt, Triton obsługuje teraz również procesory Arm oraz procesory graficzne Nvidia i procesory x86. Firma wprowadziła również procesor graficzny Nvidia A2 Tensor Core, akcelerator o niskim poborze mocy i niewielkich rozmiarach do wnioskowania AI na brzegu sieci, który według Nvidii oferuje do 20 razy większą wydajność wnioskowania niż procesory.
Triton zapewnia wnioskowanie AI na procesorach graficznych i procesorach w chmurze, centrum danych, na brzegu przedsiębiorstwa i wbudowanym, jest zintegrowany z AWS, Google Cloud, Microsoft Azure i Alibaba Cloud oraz jest zawarty w Nvidia AI Enterprise. Aby pomóc w dostarczaniu usług opartych na technologiach sztucznej inteligencji firmy Nvidia na brzegu sieci, Huang ogłosił Nvidia Launchpad.
Nvidia działa proaktywnie, aby utrzymać pozycję lidera dzięki ekosystemowi sprzętowemu i programowemu
A to daleko od wszystkiego, co Nvidia dziś zaprezentowała. Nvidia Modulus buduje i trenuje modele uczenia maszynowego oparte na fizyce, które mogą uczyć się i przestrzegać praw fizyki. Wykresy - kluczowa struktura danych we współczesnej nauce o danych - mogą być teraz rzutowane na struktury głębokich sieci neuronowych za pomocą Deep Graph Library (DGL), nowego pakietu Pythona.
Huang wprowadził również trzy nowe biblioteki: ReOpt, dla branży logistycznej o wartości 10 bilionów dolarów. cuQuantum, aby przyspieszyć badania nad obliczeniami kwantowymi. I cuNumeric, aby przyspieszyć NumPy dla naukowców, analityków danych oraz badaczy uczenia maszynowego i sztucznej inteligencji w społeczności Pythona. Nvidia zaprezentuje na GTC 65 nowych i zaktualizowanych pakietów SDK.
Co więc z tym wszystkim zrobić? Chociaż wybraliśmy wiśnie, każdy z tych elementów prawdopodobnie zasługiwałby na osobną analizę. Ogólny obraz jest taki, że po raz kolejny Nvidia działa proaktywnie, aby utrzymać swoją przewagę w skoordynowanych wysiłkach, aby powiązać swój sprzęt z oprogramowaniem.
LLM mogą w tym momencie wydawać się egzotyczne dla większości organizacji. Mimo to Nvidia zakłada, że zobaczy większe zainteresowanie i praktyczne zastosowania oraz pozycjonuje się jako platforma LLM, na której inni mogą budować. Chociaż istnieją alternatywy, posiadanie wyselekcjonowanego, wspieranego i dołączonego do ekosystemu oprogramowania i sprzętu oraz marki Nvidia prawdopodobnie wyda się atrakcyjną propozycją dla wielu organizacji.
To samo dotyczy skupienia się na wnioskowaniu. W obliczu rosnącej konkurencji ze strony szeregu dostawców sprzętu opartego na architekturach zaprojektowanych specjalnie dla obciążeń związanych ze sztuczną inteligencją, Nvidia podwaja swoje wysiłki w zakresie wnioskowania. Jest to ta część działania modelu AI, która odgrywa największą rolę w całkowitym koszcie posiadania i eksploatacji. A Nvidia po raz kolejny robi to w swoim charakterystycznym stylu - wykorzystując sprzęt i oprogramowanie w ekosystemie.