Microsoft przedstawia Phi-2, mały model językowy o dużej mocy
Mimo że Google Gemini Nano jest na rynku dopiero od tygodnia, ma już pewną konkurencję.
Kiedy myślisz o modelach językowych w odniesieniu do generatywnej sztucznej inteligencji (AI), pierwszym terminem, który prawdopodobnie przychodzi na myśl, jest model dużego języka (LLM). Te LLM obsługują najpopularniejsze chatboty, takie jak ChatGPT, Bard i Copilot. Jednak nowy model językowy Microsoftu ma pokazać, że małe modele językowe (SLM) są bardzo obiecujące również w generatywnej przestrzeni sztucznej inteligencji.
W środę firma Microsoft wypuściła Phi-2, mały model językowy umożliwiający zdroworozsądkowe rozumowanie i zrozumienie języka, który jest teraz dostępny w katalogu modeli Azure AI Studio.
Nie dajcie się jednak zwieść słowu „mały”. Phi-2 ma w swoim modelu 2,7 miliarda parametrów, co stanowi duży skok w porównaniu z Phi-1.5, który miał 1,3 miliarda parametrów.
Pomimo swojej zwartości Phi-2 wykazał się „najnowocześniejszą wydajnością” wśród modeli językowych z mniej niż 13 miliardami parametrów, a według Microsoftu w złożonych testach porównawczych nawet 25 razy przewyższał modele nawet 25 razy większe.
Modele Phi-2 uzyskały lepsze wyniki - w tym Llama-2 firmy Meta, Mistral, a nawet Gemini Nano 2 firmy Google, czyli najmniejsza wersja najpotężniejszego LLM firmy Google, Gemini - w kilku różnych testach porównawczych, jak pokazano poniżej.
Wyniki wydajności Phi-2 są zgodne z celem Microsoftu, który wyznaczył Phi, jakim jest opracowanie SLM o nowych możliwościach i wydajności porównywalnej z modelami na znacznie większą skalę.
„Pozostaje pytanie, czy takie pojawiające się umiejętności można osiągnąć na mniejszą skalę, stosując strategiczne wybory w zakresie szkolenia, np. selekcję danych” - stwierdził Microsoft.
„Nasza praca z modelami Phi ma na celu udzielenie odpowiedzi na to pytanie poprzez szkolenie SLM, które osiągają wydajność porównywalną z modelami o znacznie większej skali (choć wciąż dalekimi od modeli pionierskich)”.
Podczas szkolenia Phi-2 Microsoft bardzo selektywnie dobierał wykorzystywane dane. Firma po raz pierwszy wykorzystała dane, które nazywa „jakością podręcznikową”. Następnie firma Microsoft rozszerzyła bazę danych modeli językowych, dodając starannie wybrane dane internetowe, które przefiltrowano pod kątem wartości edukacyjnej i jakości treści.
Dlaczego więc Microsoft koncentruje się na SLM?
SLM są opłacalną alternatywą dla LLM. Mniejsze modele są również przydatne, gdy są używane do zadań, które nie są na tyle wymagające, aby wymagały mocy LLM.
Co więcej, moc obliczeniowa wymagana do obsługi SLM jest znacznie mniejsza niż w przypadku LLM. To zmniejszone wymagania oznaczają, że użytkownicy nie muszą koniecznie inwestować w drogie procesory graficzne, aby zaspokoić swoje potrzeby w zakresie przetwarzania danych.