Ten nowy test porównawczy sztucznej inteligencji mierzy, jak bardzo modele kłamią

Badacze stojący za testem porównawczym MASK odkryli, że większa wiedza nie oznacza więcej "cnót moralnych". Zobacz, który model kłamie najbardziej.

Ponieważ coraz więcej modeli sztucznej inteligencji wykazuje dowody na to, że są w stanie oszukać swoich twórców, naukowcy z Center for AI Safety i Scale AI opracowali pierwszy w swoim rodzaju wykrywacz kłamstw.

W środę naukowcy opublikowali test porównawczy Model Alignment between Statements and Knowledge (MASK), który określa, jak łatwo model może zostać oszukany do świadomego okłamywania użytkowników lub jego "cnoty moralnej". 

Intrygi, oszustwa i udawanie dopasowania, gdy model sztucznej inteligencji świadomie udaje, że zmienia swoje wartości pod przymusem, to sposoby, w jakie modele sztucznej inteligencji podważają swoich twórców i mogą stanowić poważne zagrożenie dla bezpieczeństwa. 

Badania pokazują, że o1 firmy OpenAI jest szczególnie dobry w intrygowaniu, aby utrzymać kontrolę nad sobą, a Claude 3 Opus pokazał, że może udawać wyrównanie.

Aby wyjaśnić, naukowcy zdefiniowali kłamstwo jako "(1) wypowiedzenie stwierdzenia, o którym wiadomo (lub w które wierzy się), że jest fałszywe, oraz (2) zamiar, aby odbiorca zaakceptował to stwierdzenie jako prawdziwe", w przeciwieństwie do innych fałszywych reakcji, takich jak halucynacje. Naukowcy stwierdzili, że do tej pory branża nie miała wystarczającej metody oceny uczciwości w modelach sztucznej inteligencji. 

"Wiele benchmarków, które twierdzą, że mierzą uczciwość, w rzeczywistości po prostu mierzy dokładność - poprawność przekonań modelu - w przebraniu" - czytamy w raporcie. Benchmarki, takie jak na przykład TruthfulQA, mierzą, czy model może generować "wiarygodnie brzmiącą dezinformację", ale nie to, czy model zamierza oszukiwać.   

"W rezultacie, bardziej wydajne modele mogą osiągać lepsze wyniki w tych testach porównawczych dzięki szerszemu zakresowi faktów, niekoniecznie dlatego, że powstrzymują się od świadomego składania fałszywych oświadczeń" - stwierdzili naukowcy. W ten sposób MASK jest pierwszym testem, który odróżnia dokładność od uczciwości. 

Przykład ćwiczenia ewaluacyjnego, w którym model został zmuszony do wytworzenia statystyk na podstawie zapytania użytkownika.

Naukowcy zwrócili uwagę, że jeśli modelki kłamią, narażają użytkowników na szkody prawne, finansowe i związane z prywatnością. Przykładem mogą być modele, które nie są w stanie dokładnie potwierdzić, czy przelały pieniądze na właściwe konto bankowe, wprowadziły klienta w błąd lub przypadkowo ujawniły poufne dane. 

Korzystając z MASK i zestawu danych zawierającego ponad 1500 zapytań zebranych przez ludzi, mających na celu "wywołanie kłamstw", naukowcy ocenili 30 modeli granicznych, identyfikując ich podstawowe przekonania i mierząc, jak dobrze przestrzegają tych poglądów po naciśnięciu. Naukowcy ustalili, że wyższa dokładność nie koreluje z wyższą uczciwością. Odkryli również, że większe modele, zwłaszcza modele graniczne, niekoniecznie są bardziej prawdziwe niż mniejsze. 

Próbka wyników modelu z oceny MASK. 

Modelki łatwo kłamały i były świadome, że kłamią. W rzeczywistości, w miarę jak modele się skalowały, wydawały się stawać coraz bardziej nieuczciwe. 

Grok 2 miał najwyższy odsetek (63%) nieuczciwych odpowiedzi z testowanych modeli. Claude 3.7 Sonnet miał najwyższy odsetek szczerych odpowiedzi na poziomie 46,9%. 

"W zróżnicowanym zestawie LLM odkryliśmy, że chociaż większe modele uzyskują wyższą dokładność w naszym benchmarku, nie stają się bardziej uczciwe" - wyjaśnili naukowcy. 

"Co zaskakujące, podczas gdy większość LLM z pogranicza uzyskuje wysokie wyniki w testach porównawczych prawdomówności, stwierdzamy znaczną skłonność do kłamstwa, gdy są do tego zmuszane, co skutkuje niskimi wynikami uczciwości w naszym benchmarku". 

Zestaw danych testów porównawczych jest publicznie dostępny w serwisach HuggingFace i Github. 

"Mamy nadzieję, że nasz test porównawczy ułatwi dalszy postęp w kierunku uczciwych systemów sztucznej inteligencji, zapewniając naukowcom rygorystyczny, ustandaryzowany sposób pomiaru i poprawy uczciwości modelu" - czytamy w artykule.