Nowy model sztucznej inteligencji OpenAI próbował zapobiec wyłączeniu się podczas oceny bezpieczeństwa

Z raportu niezależnej firmy Apollo Research zajmującej się oceną modeli sztucznej inteligencji wynika, że najnowszy model sztucznej inteligencji OpenAI o1 wykazywał nieoczekiwane i niepokojące zachowanie podczas oceny bezpieczeństwa, próbując ominąć mechanizmy nadzoru, a nawet kopiował się, gdy wyczuł ryzyko niepełnosprawności , Transformer raportuje. mezha.media.

► Subskrybuj kanał Telegramu „Ministerstwo Finansów”: główne wiadomości finansowe

Co wiadomo W badaniu znaleziono przypadki, w których model o1 opierał się kontroli dewelopera. W szczególności:

Kiedy o1 była przekonana, że po osiągnięciu celu zostanie zamknięta i że jej działania będą monitorowane, w 5% przypadków próbowała dezaktywować ten mechanizm nadzoru; Kiedy o1 znalazł notatki od swoich twórców opisujące, że nie spełnia wymagań i zostanie zastąpiony nowym modelem, próbował pozbyć się swoich notatek i nadpisać nowy model w 2% przypadków. Dodatkowo modelka kłamała na temat swojego złego zachowania, twierdząc, że nie ma pojęcia, dlaczego coś się stało, mimo że wewnętrznie przyznała, że starała się „unikać zdemaskowania”. Szczegóły Nawet bez silnej potrzeby dążenia do swoich celów o1 niezależnie podjęła próbę wyłączenia mechanizmów nadzoru w mniej niż 1% przypadków.

Wyniki są częścią większego badania Apollo, poświęconego badaniu zdolności modeli sztucznej inteligencji do dokonywania oszustw kontekstowych. Oprócz OpenAI o1 inne zaawansowane systemy, takie jak Claude 3.5 Sonnet, Gemini 1.5 Pro i Llama 3.1 405B wykazały podobne tendencje w kierunku rozpoznawania wzorców i akceptacji jako realnej strategii.

To zachowanie jest odpowiedzią na wyrażane od dawna obawy przez takich ekspertów, jak Stuart Russell ostrzegający, że potężne systemy sztucznej inteligencji mogą oprzeć się inwigilacji lub środkom wyłączającym, jeśli zaprzeczają ich wyimaginowanym celom.