Mały model LLaMA autorstwa Meta zapewnia badaczom sztucznej inteligencji duże korzyści
Spółka-matka Facebooka wypuściła LLaMA, stosunkowo mały, ale potężny model, który powinien pomóc badaczom uporać się z potencjalnie szkodliwymi, a czasem zwariowanymi pułapkami sztucznej inteligencji.
Duże modele językowe szturmem podbiły świat technologii. Obsługują narzędzia AI - takie jak na przykład ChatGPT i inne modele konwersacji - które mogą rozwiązywać problemy, odpowiadać na pytania, przewidywać i nie tylko. Jednak korzystanie z tych narzędzi wiąże się ze znacznym ryzykiem. Wiadomo, że składają wiarygodnie brzmiące, ale nieprawdziwe deklaracje, generują toksyczne treści i naśladują uprzedzenia zakorzenione w danych szkoleniowych AI.
Aby pomóc badaczom rozwiązać te problemy, Meta ogłosiła w piątek udostępnienie nowego modelu dużego języka o nazwie LLaMA (Large Language Model Meta AI). Firma udostępnia je na licencji niekomercyjnej, skupiającej się na przypadkach zastosowań badawczych, z planem udzielania dostępu indywidualnie dla każdego przypadku. Będzie dostępny dla badaczy akademickich; osoby powiązane z organizacjami rządowymi, społeczeństwem obywatelskim i środowiskiem akademickim; i branżowe laboratoria badawcze na całym świecie.
Interesujące w LLaMA jest to, że jest stosunkowo niewielka.
Jak sama nazwa wskazuje, duże modele językowe są dość duże. Aby stworzyć model sztucznej inteligencji na tyle zaawansowany, aby rozwiązywać problemy w tym języku, znajdować odpowiedzi lub generować własne kompozycje, potrzeba ogromnych ilości danych na temat języka (niezależnie od tego, czy jest to język mówiony, kod komputerowy, dane genetyczne czy inne „języki”).
„Szkolenie mniejszych modeli podstawowych, takich jak LLaMA, jest pożądane w przestrzeni modeli dużych języków, ponieważ wymaga znacznie mniejszej mocy obliczeniowej i zasobów do testowania nowych podejść, sprawdzania pracy innych i odkrywania nowych przypadków użycia” - zauważyła Meta.
Aby wyszkolić stosunkowo „mały” LLM, Meta użyła „tokenów” - fragmentów słów, a nie całych słów. Meta przeszkoliła LLaMA w zakresie tekstu z 20 języków, w których mówi najwięcej osób, koncentrując się na językach posługujących się alfabetem łacińskim i cyrylicą.
LLaMA to tak naprawdę zbiór modeli obejmujący od 7 miliardów do 65 miliardów parametrów. LLaMA 65B i LLaMA 33B zostały wytrenowane przy użyciu 1,4 biliona tokenów, podczas gdy najmniejszy model, LLaMA 7B, został wytrenowany na jednym bilionie tokenów. Modele szkolono przy użyciu wyłącznie publicznie dostępnych zbiorów danych.
Chociaż są małe, modele LLaMA są potężne. Meta stwierdziła, że LLaMA-13B przewyższa GPT-3 (175B) w większości testów porównawczych, podczas gdy LLaMA-65B konkuruje z najlepszymi modelami Chinchilla70B i PaLM-540B.
LLaMA jest również cenna dla społeczności badawczej jako zestaw podstawowych modeli. Modele podstawowe są szkolone na danych nieoznaczonych, co oznacza, że można je dostosować do szerokiego zakresu przypadków użycia.
Meta udostępni LLaMA w kilku rozmiarach (parametry 7B, 13B, 33B i 65B), a także udostępni kartę modelu LLAMA, która szczegółowo opisuje sposób zbudowania modelu. Firma udostępnia także zestaw ocen punktów odniesienia oceniających błędy i toksyczność modeli, dzięki czemu badacze mogą zrozumieć ograniczenia LLaMA i poczynić postępy w badaniach w tych obszarach.