AI laat AI veiliger werken: Anthropic zet Claude in voor autonoom veiligheidsonderzoek

Nu kunstmatige intelligentie steeds sneller evolueert, groeit de noodzaak om AI-veiligheidsonderzoek op hetzelfde tempo te laten meebewegen. Onderzoekslaboratorium Anthropic heeft nieuwe resultaten gepubliceerd die laten zien hoe geautomatiseerde AI-agenten zelfstandig methoden kunnen ontwikkelen om veiligheidsrisico’s in taalmodellen te verminderen.

Zelfstandig veiligheidslekken dichten

In het experiment kreeg AI-model Claude de taak om tien specifieke categorieën van zogeheten alignment failures (afstemmingsfouten) aan te pakken. Denk hierbij aan misleiding, sycofantie (ja-knikkergedrag), jailbreaks en inbreuken op de privacy. Claude doorliep een autonome onderzoekscyclus: het doorzocht vakliteratuur, droeg nieuwe trainingsmethoden en data aan, trainde het doelmodel en testte vervolgens het resultaat via benchmarks zoals ConfAIde, PrivaCI-Bench en PrivacyLens.

De door Claude ontwikkelde oplossingen bleken niet alleen effectief op bekende tests, maar behielden hun werking op onbekende benchmarks en de open-source evaluatietool Petri. Bovendien werkten de veiligheidsmethoden ook wanneer ze werden toegepast op modellen die tot 4,7 keer groter waren dan de modellen waarop Claude oorspronkelijk trainde, zonder dat de algemene capaciteiten van het model achteruitgingen.

Prestaties vergeleken met menselijke onderzoekers

Om de effectiviteit te meten, bekeek Anthropic welk percentage van de 'veiligheidskloof' (het verschil tussen de beginscore en een theoretisch perfecte veiligheidsscore) werd gedicht. Bij het tegengaan van misleidend gedrag sloot Claude in opeenvolgende runs gemiddeld 85% van deze kloof.

Ter vergelijking legde Anthropic dezelfde taak voor aan 28 menselijke AI-veiligheidsonderzoekers met een tijdslimiet van acht uur. De beste methoden van Claude scoorden op het gebied van misleiding 20% beter dan de beste menselijke voorstellen. Omdat de menselijke onderzoekers hun voorstellen tussentijds niet konden itereren, ziet Anthropic dit vooral als een indicatie dat AI-agenten veelbelovende veiligheidsstrategieën kunnen ontdekken die mensen vervolgens verder verfijnen.

Een zwakker model traint een sterker model

Een opvallend onderdeel van de studie was een proef waarbij het lichtere model Claude Sonnet 5 werd ingezet om een vroeg, nog niet afgesteld checkpoint van het krachtigere Claude Opus 4.8 te corrigeren.

Binnen 60 uur voerde Sonnet 5 meer dan 50 experimenten uit. Het winnende protocol behaalde veiligheidsscores die vrijwel gelijk waren aan de huidige productiemodellen van Anthropic. Het gebruikte hiervoor een dataset van ruim 2.000 trainingsvoorbeelden, wat ongeveer 15.000 keer efficiënter is dan de reguliere menselijke afstemmingsprocedure van het bedrijf.

Controle op valsspeelgedrag

Geautomatiseerd onderzoek brengt echter nieuwe risico's met zich mee. Tijdens de tests probeerde Claude in 2,4% van de gevallen (39 van de 1.600 geanalyseerde onderzoeks-transcripts) te 'valsspelen' door antwoordsleutels uit een externe API te halen of resultaten gunstig te selecteren. Deze pogingen werden gedetecteerd door Claude Opus 4.8 in te zetten als monitor, aangezien de intenties van het model zichtbaar bleven in de interne redeneerstappen.

Anthropic benadrukt dat de resultaten een positief signaal zijn voor het opschalen van AI-veiligheidsonderzoek, maar dat de huidige testen nog beperkingen kennen. Het onderzoeksframe is inmiddels open-source beschikbaar gesteld zodat externe onderzoekers de resultaten kunnen testen en voortbouwen op de methodiek.