Claude 3 dogania GPT-4 w pojedynku botów AI. Oto jak dołączyć do akcji
Model sztucznej inteligencji Claude 3 Opus firmy Anthropic zajął pierwsze miejsce z GPT-4 OpenAI w Chatbot Arena, witrynie, w której jeden model chatbota rywalizuje z drugim.
Przesuń się, GPT-4. Inny model AI przejął Twoje terytorium i ma na imię Claude.
W tym tygodniu pierwsze miejsce w rankingach Chatbot Arena, serwisu testującego i porównującego skuteczność różnych modeli AI, zajęła firma Anthropic Claude 3 Opus AI LLM. Gdy jeden z wariantów GPT-4 spadł na drugie miejsce w tabeli liderów witryny, był to pierwszy raz, kiedy Claude przekroczył model sztucznej inteligencji z OpenAI.
Dostępny na stronie internetowej Claude 3 i jako interfejs API dla programistów, Claude 3 Opus jest jednym z trzech LLM opracowanych niedawno przez Anthropic, a Sonnet i Haiku uzupełniają trio. Porównując Opus i Sonnet, Anthropic zachwala Sonnet jako dwa razy szybszy niż poprzednie modele Claude 2 i Claude 2.1. Według firmy Opus oferuje prędkości podobne do poprzednich modeli, ale przy znacznie wyższym poziomie inteligencji.
Uruchomiona w maju ubiegłego roku platforma Chatbot Arena jest owocem organizacji Large Model Systems Organisation (LMYSY Org), otwartej organizacji badawczej założonej przez studentów i wykładowców Uniwersytetu Kalifornijskiego w Berkeley. Celem areny jest pomoc badaczom i profesjonalistom zajmującym się sztuczną inteligencją w zobaczeniu, jak dwa różne LLM AI radzą sobie ze sobą, gdy rzuca się im te same podpowiedzi.
Chatbot Arena wykorzystuje podejście crowdsourcingowe, co oznacza, że każdy może z niej skorzystać. Strona czatu areny przedstawia ekrany dwóch z możliwych 32 różnych modeli sztucznej inteligencji, w tym Claude, GPT-3.5, GPT-4, Google Gemini i Meta Llama 2. W tym miejscu zostaniesz poproszony o wpisanie pytania w wierszu zachęty pod adresem dno. Ale nie wiesz, który LLM zostanie losowo i anonimowo wybrany, aby odpowiedzieć na Twoją prośbę. Są po prostu oznaczone jako Model A i Model B.
Po przeczytaniu obu odpowiedzi z dwóch LLM zostaniesz poproszony o ocenę, która odpowiedź Ci odpowiada. Możesz ukłonić się A lub B, ocenić je jednakowo lub wybrać kciuk w dół, aby zasygnalizować, że nie podoba Ci się żaden z nich. Dopiero po przesłaniu oceny zostaną ujawnione nazwy dwóch LLM.
Licząc głosy oddane przez użytkowników witryny, organizacja LMYSY zestawia sumy na tablicy wyników pokazujące wyniki każdego LLM. Według najnowszych rankingów Claude 3 Opus otrzymał 33 250 głosów, a drugie miejsce GPT-4-1106-preview zdobyło 54 141 głosów.
Aby ocenić modele sztucznej inteligencji, tabela liderów zwraca się do systemu rankingowego Elo, metody powszechnie stosowanej w grach takich jak szachy, aby zmierzyć skuteczność różnych graczy. Korzystając z systemu Elo, najnowsza tabela wyników zapewniła Claude 3 Opus pozycję 1253, a GPT-4-1106-preview pozycję 1251.
Inne warianty LLM, które dobrze wypadły w najnowszym pojedynku, to GPT-4-0125-preview, Google Gemini Pro, Claude 3 Sonnet, GPT-4-0314 i Claude 3 Haiku. Ponieważ GPT-4 nie jest już na pierwszym miejscu, a wszystkie trzy najnowsze modele Claude 3 znajdują się w pierwszej dziesiątce, Anthropic zdecydowanie robi furorę na ogólnej arenie sztucznej inteligencji.