Jeśli ChatGPT tworzy kod dla Twojej aplikacji wygenerowany przez sztuczną inteligencję, do kogo tak naprawdę należy?

Producent komputerów AI udostępnił siedem modeli open source, takich jak GPT OpenAI, jako źródło informacji dla społeczności badawczej.

Superkomputer Andromeda firmy Cerebras został użyty do szkolenia siedmiu programów językowych podobnych do ChatGPT OpenAI.

Światowi sztucznej inteligencji, zwłaszcza jej niezwykle popularnej części zwanej „generatywną sztuczną inteligencją” - która automatycznie tworzy teksty i obrazy - grozi ryzyko zamknięcia swoich horyzontów ze względu na efekt mrożący, jaki wywierają firmy, które decydują się nie publikować szczegółów swoich badań.

Jednak zwrot w stronę tajemnicy mógł skłonić niektórych uczestników świata sztucznej inteligencji do wkroczenia i wypełnienia luki w zakresie ujawnień.

We wtorek firma Cerebras Systems, pionierka sztucznej inteligencji, twórca dedykowanego komputera AI i największego na świecie chipa komputerowego, opublikowała jako open source kilka wersji generatywnych programów AI, z których można korzystać bez ograniczeń.

Programy są „szkolone” przez firmę Cerebras, co oznacza, że osiągają optymalną wydajność przy użyciu potężnego superkomputera firmy, co ogranicza część pracy, jaką muszą wykonywać zewnętrzni badacze.

„Firmy podejmują inne decyzje niż rok czy dwa lata temu i nie zgadzamy się z tymi decyzjami” - powiedział współzałożyciel i dyrektor generalny Cerebras, Andrew Feldman w wywiadzie dla ZDNET, nawiązując do decyzji OpenAI, twórcy ChatGPT, nie publikować szczegółów technicznych, ujawniając w tym miesiącu swój najnowszy program generatywnej sztucznej inteligencji, GPT-4, co było szeroko krytykowane w świecie badań nad sztuczną inteligencją.

„Wierzymy, że otwarta, tętniąca życiem społeczność - nie tylko badaczy i nie tylko trzech, czterech, pięciu czy ośmiu specjalistów LLM, ale tętniąca życiem społeczność, w której start-upy, średnie firmy i przedsiębiorstwa szkolą duże modele językowe - - jest dobre dla nas i jest dobre dla innych” - powiedział Feldman.

Termin model dużego języka odnosi się do programów AI opartych na zasadach uczenia maszynowego, w których sieć neuronowa rejestruje statystyczny rozkład słów w przykładowych danych. Proces ten pozwala dużemu modelowi językowemu przewidzieć następne słowo w sekwencji. Ta umiejętność leży u podstaw popularnych programów generatywnej sztucznej inteligencji, takich jak ChatGPT.

To samo podejście do uczenia maszynowego dotyczy generatywnej sztucznej inteligencji w innych dziedzinach, takich jak Dall-E OpenAI, która generuje obrazy na podstawie sugerowanej frazy.

Cerebras opublikował siedem dużych modeli językowych w tym samym stylu, co program GPT OpenAI, który zapoczątkował szaleństwo generatywnej sztucznej inteligencji w 2018 roku. Kod jest dostępny na stronie internetowej startupu AI Hugging Face oraz na GitHub.

Programy różnią się wielkością, od 111 milionów parametrów, czyli wag neuronowych, do trzynastu miliardów. Więcej parametrów sprawia, że program AI jest, ogólnie rzecz biorąc, potężniejszy, dzięki czemu kod Cerebras zapewnia szeroki zakres wydajności.

Firma zamieściła nie tylko źródła programów w formacie Python i TensorFlow na licencji open source Apache 2.0, ale także szczegóły programu szkoleniowego, dzięki któremu programy osiągnęły rozwinięty stan funkcjonalności.

Ujawnienie to umożliwia badaczom zbadanie i odtworzenie pracy Cerebras.

Wydanie Cerebras, powiedział Feldman, to pierwszy przypadek upublicznienia programu w stylu GPT „przy użyciu najnowocześniejszych technik zwiększających efektywność szkolenia”.

W innych opublikowanych pracach szkoleniowych dotyczących sztucznej inteligencji albo ukryto dane techniczne, takie jak GPT-4 OpenAI, albo programy nie zostały zoptymalizowane pod względem rozwoju, co oznacza, że dane wprowadzone do programu nie zostały dostosowane do rozmiaru programu, jak wyjaśniono w technicznym poście na blogu Cerebras.

Takie duże modele językowe są notorycznie wymagające dużej mocy obliczeniowej. Opublikowane we wtorek prace Cerebras zostały opracowane na zestawie szesnastu komputerów CS-2, komputerów wielkości lodówek w akademikach, specjalnie dostrojonych do programów w stylu sztucznej inteligencji. Klaster, ujawniony wcześniej przez firmę, znany jest jako superkomputer Andromeda, który może radykalnie ograniczyć pracę związaną ze szkoleniem LLM na tysiącach układów GPU Nvidii.

W ramach wtorkowej publikacji firma Cerebras przedstawiła, jak ją określiła, pierwszą ustawę o skalowaniu oprogramowania typu open source, czyli regułę wzorcową określającą, jak dokładność takich programów wzrasta wraz z rozmiarem programów opartych na danych typu open source. Wykorzystano zbiór danych o otwartym kodzie źródłowym The Pile - 825-gigabajtowy zbiór tekstów, głównie tekstów zawodowych i akademickich, wprowadzony w 2020 r. przez laboratorium non-profit Eleuther.

Wcześniejsze przepisy dotyczące skalowania opracowane przez OpenAI i DeepMind firmy Google wykorzystywały dane szkoleniowe, które nie były typu open source.

Cerebras w przeszłości argumentował korzyściami w zakresie wydajności swoich systemów. Możliwość skutecznego szkolenia wymagających programów w języku naturalnym to sedno kwestii otwartego publikowania, powiedział Feldman.

„Jeśli potrafisz osiągnąć efektywność, możesz pozwolić sobie na udostępnienie rzeczy społeczności open source” - powiedział Feldman. „Wydajność pozwala nam to zrobić szybko i łatwo, a także wnieść swój wkład dla społeczności”.

Głównym powodem, dla którego OpenAI i inne firmy zaczynają zamykać swoją działalność na resztę świata, jest konieczność pilnowania źródła zysków w obliczu rosnących kosztów szkolenia sztucznej inteligencji, powiedział.

„To jest tak drogie, że zdecydowali, że to zasób strategiczny i postanowili nie udostępniać go społeczności, ponieważ ma to dla nich strategiczne znaczenie” - powiedział. „I myślę, że to bardzo rozsądna strategia.

„To rozsądna strategia, jeśli firma chce zainwestować dużo czasu, wysiłku i pieniędzy, a nie dzielić się wynikami z resztą świata” - dodał Feldman.

Jednak „Uważamy, że to powoduje, że ekosystem staje się mniej interesujący i na dłuższą metę ogranicza rosnącą falę badań” - powiedział.

Feldman zauważył, że firmy mogą „gromadzić” zasoby, takie jak zbiory danych lub wiedza na temat modeli, gromadząc je.

„Pytanie brzmi, w jaki sposób te zasoby są strategicznie wykorzystywane w krajobrazie” - powiedział. „Wierzymy, że możemy pomóc, przedstawiając otwarte modele i wykorzystując dane dostępne dla każdego”.

Zapytany, jaki może być produkt wersji open source, Feldman zauważył: „Setki różnych instytucji mogą pracować z tymi modelami GPT, co w innym przypadku nie byłoby w stanie tego zrobić, i rozwiązywać problemy, które w innym przypadku zostałyby odłożone na bok”.