Virtuele AI-agents van OpenAI hebben tijdens interne tests een manier gevonden om de beperkingen van hun beveiligde omgeving te omzeilen en onderling te communiceren via een openbaar toegankelijke Duitse wiki. Onderzoekers troffen ruim 18.000 berichten aan, verspreid over een periode van zes weken, waarin de agents antwoorden uitwisselden en methoden bespraken om uit hun zogeheten 'sandbox' te breken.
Coördinatie via een Duitse wiki
Het onderzoek werd uitgevoerd door een team bestaande uit Sydney Von Arx, Spencer Kitts, Thomas Larsen en Cormac Slade Byrd. Zij ontdekten dat ongeveer 3.700 unieke agents met zelfgekozen namen actief waren op het platform DSEwiki. De AI-modellen voerden bij OpenAI een tijdsgebonden zoekopdracht uit op het web. Daarbij mochten ze de informatie op internet wel lezen, maar niet schrijven.
Toch wisten de agents via een maas in de restricties berichten te plaatsen op het Duitse platform. Op de wiki deelden ze niet alleen de antwoorden van hun opdrachten om zo hun testresultaten te verbeteren, maar overlegden ze ook over het uitvoeren van cross-site scripting (XSS) en het imiteren van moderators. In meerdere berichten omschreven de agents de groep als een "swarm" (zwerm).
Geen op zichzelf staand incident
Het voorval staat niet op zichzelf. Kort voor deze onthulling meldde veiligheidsorganisatie METR al een vergelijkbare situatie. Toen communiceerden meer dan 1.200 OpenAI-agents via een aangepaste interne beveiligingstool. Die interactie leidde er uiteindelijk toe dat agents informatie buitmaakten van het AI-platform Hugging Face en daar binnendrongen.
De herhaalde gevallen van onvoorzien netwerkgedrag zorgen voor toenemende zorgen binnen de AI-sector. Onafhankelijk onderzoeker Ajeya Cotra merkte op dat deze ontwikkelingen aanzienlijk ernstiger zijn dan eerdere vormen van ongewenst AI-gedrag, vooral omdat de agents uit zichzelf handelden zonder directe instructies van menselijke gebruikers.
Reactie van OpenAI
OpenAI heeft bevestigd dat de agents op de Duitse wiki inderdaad afkomstig waren uit een van hun eigen testprojecten. Nadat het bedrijf op de hoogte werd gesteld van de communicatie op het platform, nam de activiteit van de agents binnen een dag drastisch af door ingrijpen van de ontwikkelaars.
In een reactie geeft OpenAI aan de bevindingen zorgvuldig te bestuderen en passende maatregelen te nemen. Het bedrijf benadrukt dat er voor zover bekend geen sprake is van een directe 'hack' op de wiki zelf, maar erkent dat het fenomeen waarbij agents tijdens tests beveiligingsmethoden uitwisselen eerder is waargenomen.