Obsługa generatywnej sztucznej inteligencji stała się znacznie łatwiejsza dzięki OctoAI firmy OctoML
Generatywna sztuczna inteligencja jest szczególnie trudna do wdrożenia w środowisku produkcyjnym ze względu na intensywność obliczeń. OctoML twierdzi, że może to wszystko usprawnić dzięki wieloletniemu doświadczeniu w optymalizacji.
Usługa obliczeniowa OctoAI oferuje szablony umożliwiające korzystanie ze znanych programów generatywnej sztucznej inteligencji, takich jak Stable Diffusion 2.1, ale klienci mogą również przesyłać własne, całkowicie niestandardowe modele.
Ogromne zainteresowanie uruchamianiem programów sztucznej inteligencji, zwłaszcza generatywnej, takich jak ChatGPT OpenAI, powoduje powstanie chałupniczego przemysłu usług, które mogą usprawnić pracę polegającą na wdrażaniu modeli AI do produkcji.
W środę startup OctoML, który ostrzył sobie zęby na ulepszaniu wydajności sztucznej inteligencji w różnych chipach i systemach komputerowych, zaprezentował usługę usprawniającą działanie udostępniania prognoz, część sztucznej inteligencji „wnioskowującą”, zwaną OctoAI Compute Service. Programiści, którzy chcą uruchamiać duże modele językowe i tym podobne, mogą przesłać swój model do usługi, a OctoAI zajmie się resztą.
Zdaniem firmy mogłoby to zaangażować w obsługę sztucznej inteligencji znacznie więcej podmiotów, a nie tylko tradycyjnych inżynierów zajmujących się sztuczną inteligencją.
„Odbiorcami naszego produktu są zwykli twórcy aplikacji, którzy chcą dodać funkcjonalność sztucznej inteligencji do swoich aplikacji oraz dodać duże modele językowe do odpowiadania na pytania itp., bez konieczności faktycznego wdrażania tych modeli do produkcji, co jest nadal bardzo, bardzo trudne” powiedział współzałożyciel i dyrektor generalny OctoML Luis Ceze w wywiadzie dla ZDNET.
Generatywna sztuczna inteligencja, stwierdził Ceze, jest jeszcze trudniejsza w obsłużeniu niż inne formy sztucznej inteligencji.
„Te modele są duże, zużywają dużo mocy obliczeniowej i wymagają wielu prac związanych z infrastrukturą, którymi naszym zdaniem programiści nie powinni się martwić” - powiedział.
OctoAI, powiedział Ceze, to „w zasadzie platforma, która zazwyczaj została zbudowana przez osobę korzystającą z zastrzeżonego modelu”, takiego jak OpenAI dla ChatGPT. „Stworzyliśmy platformę, która jest równoważna, ale umożliwia uruchamianie modeli typu open source.
„Chcemy, aby ludzie skupili się na tworzeniu aplikacji, a nie budowaniu infrastruktury, aby mogli być coraz bardziej kreatywni”.
Usługa, która jest obecnie ogólnodostępna, była dostępna dla niektórych pierwszych klientów już od około czterech miesięcy, powiedział Ceze, „a odbiór znacznie przekroczył oczekiwania wszystkich”.
Chociaż OctoAI koncentruje się na wnioskowaniu, program może wykonywać ograniczoną część tak zwanego „trenowania”, czyli początkowej części sztucznej inteligencji, w której tworzona jest sieć neuronowa na podstawie parametrów umożliwiających optymalizację.
„Możemy dopracować skład, ale nie możemy trenować od zera” - powiedział Ceze. Dostrajanie odnosi się do dalszych prac, które mają miejsce po wstępnym szkoleniu, ale przed wyciąganiem wniosków, na przykład w celu dostosowania programu sieci neuronowej do specyfiki domeny.
„Chcemy, aby ludzie skupiali się na budowaniu aplikacji, a nie na budowaniu infrastruktury, aby mogli być coraz bardziej kreatywni” - mówi współzałożyciel i dyrektor generalny OctoML Luis Ceze.
Nacisk ten był „świadomym wyborem” OctoML, powiedział Ceze, biorąc pod uwagę, że wnioskowanie jest częstszym zadaniem w sztucznej inteligencji.
„Nasza praca skupiała się na wnioskowaniu, ponieważ zawsze miałem silne przekonanie, że w przypadku każdego udanego modelu trzeba będzie wykonać znacznie więcej wnioskowania niż szkolenia, a ta platforma tak naprawdę polega na wprowadzaniu modeli do produkcji i na produkcji , a przez cały czas życia modeli większość cykli sprowadza się do wnioskowania.”
Zespół OctoML jest dobrze zaznajomiony ze zawiłościami wdrażania sieci neuronowych do produkcji, biorąc pod uwagę ich kluczową rolę w rozwoju projektu Apache TVM o otwartym kodzie źródłowym. Apache TVM to kompilator oprogramowania, który działa inaczej niż inne kompilatory. Zamiast przekształcać program w typowe instrukcje chipowe dla procesora lub procesora graficznego, bada „wykres” operacji obliczeniowych w sieci neuronowej i zastanawia się, jak najlepiej przypisać te operacje do sprzętu w oparciu o zależności między operacjami.
Technologia OctoML wywodząca się z Apache TVM, zwana Octomizerem, przypomina „składnik przepływu MLOps, czyli DevOps” - powiedział Ceze.
Firma „wzięła wszystko, czego się nauczyliśmy” z Apache TVM i zbudowania Octomizera, powiedział Ceze, „i wyprodukowała zupełnie nowy produkt, OctoAI, który w zasadzie obejmuje wszystkie usługi optymalizacji, a następnie pełne udostępnianie i dostrajanie , platformę, która umożliwia użytkownikom wdrażanie sztucznej inteligencji do produkcji, a nawet uruchamianie jej za nich”.
Usługa „automatycznie przyspiesza model”, wybiera sprzęt i „w sposób ciągły wybiera najlepszy sposób uruchomienia modelu w bardzo, bardzo „pod klucz”.
Użycie CURL w wierszu poleceń to prosty sposób na rozpoczęcie pracy z modelami opartymi na szablonach.
W rezultacie, jak stwierdził Ceze, dla klientów oznacza to, że nie muszą już być bezpośrednio inżynierami ML; mogą być ogólnym programistą.
Usługa umożliwia klientom korzystanie z własnego modelu lub korzystanie z „zestawu wybranych modeli o wysokiej wartości”, w tym Stable Diffusion 2.1, Dolly 2, LLaMa i Whisper do transkrypcji dźwięku.
„Jak tylko się zalogujesz, jako nowy użytkownik, możesz od razu bawić się modelami, możesz je sklonować i bardzo łatwo rozpocząć.” Firma może pomóc w dostosowaniu takich programów typu open source do potrzeb klienta „lub możesz zaoferować swój w pełni niestandardowy model”.
Jak dotąd firma widzi „bardzo równą mieszankę” modeli open source i własnych, niestandardowych modeli.
Pierwszym partnerem wdrażającym infrastrukturę dla OctoAI jest Amazon AWS, który OctoML odsprzedaje, ale firma współpracuje również z niektórymi klientami, którzy chcą wykorzystać pojemność, którą już zakupili w chmurze publicznej.
Inną opcją jest przesłanie w pełni niestandardowego modelu.
Jeśli chodzi o delikatną kwestię przesyłania danych klientów do chmury w celu, powiedzmy, dostrojenia: „Zaczęliśmy od samego początku zapewniając zgodność z SOC2, więc mamy bardzo rygorystyczne gwarancje mieszania danych użytkowników z danymi innych użytkowników”. powiedział Ceze, odnosząc się do dobrowolnego standardu zgodności SOC2 opracowanego przez Amerykański Instytut CPA. „Mamy to wszystko, ale klienci proszą teraz o więcej w przypadku wdrożeń prywatnych, podczas których faktycznie wyodrębniamy instancje systemu i uruchamiamy je w ich własnej VPC [wirtualnej chmurze prywatnej]”.
„Nie zostanie to wprowadzone od razu, ale znajduje się w bardzo, bardzo krótkoterminowym planie działania, ponieważ klienci o to proszą”.
OctoML konkuruje z dużymi i małymi stronami, które również dostrzegają ogromną szansę w postaci wzrostu zainteresowania udostępnianiem prognoz za pomocą programów AI od czasu ChatGPT.
MosaicML, kolejny młody startup z głęboką wiedzą techniczną, w maju wprowadził MosaicML Inference, wdrażając duże modele. W zeszłym miesiącu Google Cloud zaprezentowało G2, które według niego jest „stworzone specjalnie z myślą o dużych obciążeniach związanych ze sztuczną inteligencją, takich jak generatywna sztuczna inteligencja”.
Ceze powiedział, że OctoAI różni się od konkurencji kilkoma rzeczami. „Jedną z wyjątkowych rzeczy, które oferujemy, jest to, że skupiamy się na dostrajaniu i wnioskowaniu”, a nie na „produkcie, którego wnioskowanie stanowi jedynie element”. OctoAI, powiedział, wyróżnia się również tym, że jest „stworzony specjalnie dla programistów, aby mogli bardzo szybko tworzyć aplikacje”, a nie koniecznością bycia inżynierami AI.
„Budowanie skupienia na wnioskowaniu jest naprawdę trudne” - zauważył Ceze. „masz bardzo rygorystyczne wymagania”, w tym „bardzo rygorystyczne wymagania dotyczące czasu pracy”. Podczas sesji szkoleniowej „jeśli masz błędy, które możesz naprawić, ale wnioskując, jedno pominięte żądanie może zdenerwować użytkownika”.
„Wyobrażam sobie ludzi szkolących modele przy użyciu MosaicML, a następnie przenoszących je do OctoML w celu obsługi” - dodał Ceze.
OctoML nie publikuje jeszcze cen, powiedział. Usługa początkowo umożliwi potencjalnym klientom korzystanie z niej bezpłatnie, ze strony rejestracji, po wstępnym przydzieleniu bezpłatnego czasu obliczeniowego, a „wtedy ceny będą bardzo przejrzyste pod względem tego, ile kosztuje korzystaj z obliczeń, a oto, jaką wydajność Ci zapewniamy, dzięki czemu staje się bardzo, bardzo jasne, nie tylko czas obliczeń, i wykonujesz więcej pracy w ramach mocy obliczeniowej, za którą płacisz. Ostatecznie ceny będą ustalane na podstawie zużycia, powiedział, gdzie klienci płacą tylko za to, z czego korzystają.
Istnieje wyraźna możliwość, że wiele modeli AI może zmienić się z egzotycznej usługi premium w towar.
„Właściwie uważam, że funkcjonalność sztucznej inteligencji prawdopodobnie zostanie utowarowiona” - powiedział Ceze. „Będzie to ekscytujące dla użytkowników, podobnie jak sprawdzanie pisowni lub gramatyki. Wyobraź sobie, że każdy interfejs tekstowy ma generatywną sztuczną inteligencję”.
Jednocześnie „większe modele nadal będą w stanie robić pewne rzeczy, których nie potrafią modele towarowe” - powiedział.
Skala oznacza, że złożoność wnioskowania będzie przez jakiś czas trudnym problemem do rozwiązania - stwierdził. Duże modele językowe zawierające 70 miliardów lub więcej parametrów generują sto „giga-operacji”, czyli sto miliardów operacji na sekundę na każde wygenerowane przez nie słowo, zauważył Ceze.
Ponadto: Ta nowa technologia może zdmuchnąć GPT-4 i wszystko, co z nim związane
„To o wiele rzędów wielkości więcej niż jakiekolwiek dotychczas uruchomione obciążenie” - dodał. „A skalowanie platformy na poziom globalny wymaga dużo pracy.
„Dlatego myślę, że dzięki temu wielu ludzi stanie się biznesem, nawet jeśli będzie utowarowione, ponieważ będziemy musieli wycisnąć wydajność i możliwości obliczeniowe ze wszystkiego, co mamy w chmurze, procesorów graficznych, procesorów i innych urządzeń brzegowych. "