Anthropic wskazuje potencjał sztucznej inteligencji w zakresie „automatyzacji wyrafinowanych, destrukcyjnych cyberataków”
Twórca Claude LLM zmienia swoje wytyczne dotyczące bezpieczeństwa, aby zarządzać rosnącym ryzykiem.
Firma Anthropic, twórca rodziny dużych modeli językowych Claude, zaktualizowała w tym tygodniu swoją politykę dotyczącą kontroli bezpieczeństwa oprogramowania, aby odzwierciedlić potencjał, jaki według niej mogą wykorzystać modele sztucznej inteligencji do automatyzacji cyberataków.
Dokument PDF szczegółowo opisujący „politykę odpowiedzialnego skalowania” firmy przedstawia kilka zmian proceduralnych, które według niego są potrzebne do monitorowania bieżącego ryzyka niewłaściwego wykorzystania modeli sztucznej inteligencji. Obejmuje to kilka poziomów narastającego ryzyka, znanych jako standardy poziomu bezpieczeństwa AI (ASL), definiowane jako „zabezpieczenia techniczne i operacyjne”.
W ramach prowadzonych przez firmę „rutynowych testów” modeli sztucznej inteligencji pod kątem bezpieczeństwa - znanych jako „ocena możliwości” - Anthropic informuje, że odkryło funkcję, która „wymaga znaczących badań i może wymagać silniejszych zabezpieczeń”.
Zdolność tę określa się jako zagrożenie w operacjach cybernetycznych: „Zdolność do znacznego usprawnienia lub zautomatyzowania wyrafinowanych, destrukcyjnych ataków cybernetycznych, w tym między innymi do odkrywania nowatorskich łańcuchów exploitów dnia zerowego, opracowywania złożonego złośliwego oprogramowania lub organizowania rozległej, trudnej do wykrycia sieci włamania.”
W raporcie opisano działania, które zostaną podjęte w celu bieżącego zbadania sprawy:
„Będzie to obejmować współpracę z ekspertami w dziedzinie operacji cybernetycznych w celu oceny potencjału modeli granicznych w zakresie zarówno wzmacniania, jak i łagodzenia zagrożeń cybernetycznych, a także rozważenie wdrożenia wielopoziomowych kontroli dostępu lub stopniowych wdrożeń modeli z zaawansowanymi możliwościami cybernetycznymi. Przeprowadzimy przed lub testy po wdrożeniu, w tym specjalistyczne oceny, udokumentowamy wszelkie istotne wyniki wraz z naszymi raportami dotyczącymi możliwości.
Obecnie wszystkie modele sztucznej inteligencji firmy Anthropic muszą spełniać wymagania „poziomu 2” ASL. Poziom ten „wymaga systemu bezpieczeństwa, który prawdopodobnie może udaremnić większość oportunistycznych ataków i obejmuje przeglądy bezpieczeństwa dostawców i dostawców, fizyczne środki bezpieczeństwa oraz stosowanie zasad bezpiecznego projektowania” - czytamy w raporcie.
Zaktualizowane zasady można postrzegać jako część wysiłków Anthropic i OpenAI mających na celu dobrowolne obiecanie ograniczeń sztucznej inteligencji w kontekście toczącej się debaty na temat tego, co należy, a czego nie należy robić, aby regulować technologie AI. W sierpniu firma i OpenAI osiągnęły porozumienia z amerykańskim Instytutem Bezpieczeństwa Sztucznej Inteligencji przy Narodowym Instytucie Standardów i Technologii (NIST) Departamentu Handlu Stanów Zjednoczonych w sprawie współpracy w zakresie badań, testowania i oceny sztucznej inteligencji.
Pomysł sztucznej inteligencji automatyzującej cyberataki krąży już od jakiegoś czasu. Dostawca zapór sieciowych Check Point Software Technologies ostrzegł w zeszłym roku, że podmioty państwowe z Rosji próbowały złamać zabezpieczenia ChatGPT OpenAI w celu zautomatyzowania ataków phishingowych.
Dostawca oprogramowania zabezpieczającego punkty końcowe, firma CrowdStrike, poinformowała tego lata, że generatywna sztuczna inteligencja jest podatna na szeroką gamę specjalnie spreparowanych komunikatów, które mogą przełamać bariery ochronne programów.