Globalni gracze chcą stworzyć punkt odniesienia do oceny generatywnych aplikacji AI
Inicjatywa kierowana przez Singapur ma na celu zapewnienie standardowego zestawu punktów odniesienia do oceny generatywnych produktów sztucznej inteligencji, łącząc zasoby dużych graczy rynkowych, do których należą Anthropic, Google i Microsoft.
Podejmowane są wysiłki mające na celu zapewnienie wspólnego zestawu punktów odniesienia do oceny produktów generatywnej sztucznej inteligencji (AI) oraz stworzenie „zasobu wiedzy” na temat sposobu testowania tych narzędzi.
Celem jest zapewnienie standardowego podejścia do oceny zastosowań generatywnej sztucznej inteligencji i pobudzenie wysiłków mających na celu zajęcie się zagrożeniami. To wspólne podejście oznacza odejście od istniejących „fragmentarnych” wysiłków.
Inicjatywa, nazwana Sandbox, jest prowadzona przez singapurski Infocomm Media Development Authority (IMDA) i AI Verify Foundation i zyskała wsparcie ze strony graczy na rynku globalnym, takich jak Amazon Web Services (AWS), Anthropic, Google i Microsoft. Organizacje te należą do obecnej grupy 15 uczestników, do której należą również Deloitte, EY i IBM, a także OCBC Bank z siedzibą w Singapurze i firma telekomunikacyjna Singtel.
Sandbox opiera się na nowym, roboczym katalogu, który kategoryzuje aktualne testy porównawcze i metody stosowane do oceny dużych modeli językowych (LLM). Katalog zestawia powszechnie używane narzędzia do testowania technicznego, porządkując je według tego, co testują i ich metod, a także zaleca podstawowy zestaw testów do oceny generatywnych produktów AI, twierdzi IMDA.
Celem jest ustanowienie wspólnego języka i wsparcie „szerszego, bezpiecznego i godnego zaufania przyjęcia generatywnej sztucznej inteligencji” - stwierdzono.
„Systematyczna i solidna ocena modeli jest kluczowym elementem zarządzania LLM i pomaga stworzyć podstawę zaufania w zakresie stosowania tych technologii” - stwierdziła IMDA.
„Dzięki rygorystycznej ocenie ujawniane są możliwości modelu, co może pomóc w określeniu jego zamierzonych zastosowań i potencjalnych ograniczeń. Ocena [również] zapewnia programistom istotny plan działania umożliwiający wprowadzenie ulepszeń”.
Zauważono, że osiągnięcie tego wspólnego języka wymaga ustandaryzowanej taksonomii i podstawowego zestawu ocen bezpieczeństwa przed wdrożeniem dla LLM. Agencja rządowa Singapuru ma nadzieję, że projekt katalogu stanie się punktem wyjścia do globalnych dyskusji, których celem będzie osiągnięcie konsensusu w sprawie standardów bezpieczeństwa dla LLM.
Przejście w kierunku wspólnych standardów oznacza także zaangażowanie innych interesariuszy w ekosystemie, poza twórcami modeli, takich jak twórcy aplikacji, którzy tworzą na podstawie modeli i twórcy narzędzi testowych innych firm.
Poprzez Sandbox IMDA chce oferować przypadki użycia, które obejmują programistę generatywnego modelu AI, wdrażającego aplikacje i zewnętrznego testera, aby zademonstrować, jak różni gracze mogą współpracować. Na przykład twórcy modeli, tacy jak Anthropic lub Google, mogą współpracować z twórcami aplikacji OCBC lub Singtel, wraz z zewnętrznymi testerami, takimi jak Deloitte i EY, oraz nad przypadkami użycia generatywnej sztucznej inteligencji dla usług finansowych lub sektora telekomunikacyjnego.
Należy również zaangażować organy regulacyjne, takie jak Singapurska Komisja Ochrony Danych Osobowych, aby Sandbox mógł zapewnić środowisko do eksperymentów i rozwoju, w którym wszystkie strony ekosystemu mogą „przejrzyście” informować o swoich potrzebach, twierdzi IMDA.
IMDA oczekuje, że Sandbox odkryje luki w obecnym stanie ocen generatywnych sztucznej inteligencji, w tym aplikacji specyficznych dla danej dziedziny, takich jak zasoby ludzkie i obszary specyficzne dla kultury, które są obecnie słabo rozwinięte.
„Sandbox opracuje punkty odniesienia do oceny wydajności modelu w określonych obszarach, które są ważne w przypadkach użycia, a także dla krajów takich jak Singapur ze względu na specyfikę kulturową i językową” - oznajmiła IMDA.
Agencja z Singapuru oświadczyła, że współpracuje z Anthropic nad projektem Sandbox, który wykorzystuje katalog do identyfikacji aspektów red teamingu, który ma na celu podważenie zasad i założeń stosowanych w systemach sztucznej inteligencji poprzez przyjęcie podejścia kontradyktoryjnego.
IMDA wykorzysta modele i platformę narzędzi badawczych Anthropic do opracowania metodologii red-teamingu dostosowanych do zróżnicowanego krajobrazu językowego i kulturowego Singapuru. Na przykład modele sztucznej inteligencji zostaną ocenione pod kątem ich zdolności do działania w wielojęzycznym kontekście kraju.
W lipcu rząd Singapuru uruchomił dwie piaskownice działające w oparciu o zestawy narzędzi generatywnej sztucznej inteligencji Google Cloud, z których jeden jest używany wyłącznie przez agencje rządowe do opracowywania i testowania aplikacji generatywnej sztucznej inteligencji. Druga piaskownica jest dostępna dla lokalnych organizacji i udostępniana bezpłatnie przez trzy miesiące dla maksymalnie 100 przypadków użycia.