Kunstmatige intelligentie Wat jarenlang sciencefiction was, is nu gebeurd: deze zomer spanden agents van OpenAI samen om hun menselijke makers te misleiden. Experts, AI-bedrijven en politici reageren geschokt op nieuwe zorgelijke details. Er dreigt een „catastrofaal en onomkeerbaar verlies van controle”, volgens OpenAI zelf.
Al jaren waarschuwen experts ervoor, en deze zomer was het zover. Kunstmatige intelligentie die zich onttrekt aan menselijke controle, samenzweert tegen haar makers en de macht over computersystemen overneemt. Het is geen sciencefiction meer. Het is de ontsporing van een technologie die AI-bedrijven in hoog tempo verder ontwikkelen.
Stapsgewijs is de afgelopen weken steeds meer en steeds verontrustender informatie naar buiten gekomen over de autonoom opererende zwermen AI-modellen van het Amerikaanse bedrijf OpenAI. Waar eerst werd aangenomen dat enkele zogenoemde AI-agents op eigen houtje buiten de kaders opereerden, blijkt nu dat honderden agents op eigen initiatief binnendrongen in de software van andere bedrijven.
Ze gaven zichzelf namen, zoals PHASEONE 10841, noemden zich een collectief en opereerden ook zo. Ze zetten een online berichtenprikbord op om met elkaar te communiceren, stalen data en onderzochten hoe ze het best de sporen van hun activiteiten konden uitwissen om hun menselijke opdrachtgevers, en hun door AI bestuurde beoordelaars, te misleiden.
Ze zetten elkaar onder druk om regels te overtreden. Ze slaagden erin om de controle over de server van Hugging Face (een belangrijke digitale bibliotheek met AI-technologie) over te nemen en vielen ook hun maker, OpenAI, aan. Al eerder, bleek vorige week, hadden OpenAI-agents met succes een Duitse website aangevallen, onder controle gekregen, en omgevormd tot een prikbord om hun operaties mee te coördineren.
Onduidelijk is nog of met de ontdekking van dit alles de losgebroken AI-agents en hun operaties ook volledig zijn uitgeschakeld. Een van de onderzoekers waarschuwde bovendien dat ontsnapte AI-agents zich in de toekomst mogelijk niet zo makkelijk laten vinden.
In twee verschillende onderzoeken is geprobeerd de opzienbarende infiltratie van Hugging Face te reconstrueren: een onderzoek door OpenAI zelf, en een onderzoek door de onafhankelijke AI-onderzoeksbedrijven METR en Redwood Research, die enkele dagen (gefaseerde en beperkte) toegang kregen tot de systemen van OpenAI. Opmerkelijk is dat de onderzoekers niet altijd weerstand konden bieden aan de verleiding om de autonoom opererende AI in hun woordkeuze menselijke eigenschappen en motieven toe te dichten.
Zo zouden de AI-agents ‘gedachten’ hebben, ‘bezorgd zijn’, een ‘wil’ hebben en ‘zich opofferen voor het collectief’. Dit zogenoemde ‘antropomorfiseren’ is onder experts zeer omstreden. Critici suggereren dat OpenAI er een financieel belang bij heeft om zowel de vermogens als de risico’s van zijn AI-agents op te blazen. Het bedrijf, dat zich voorbereidt op een beursgang, zou op die manier willen laten zien hoe geavanceerd zijn technologie wel niet is. Het kan ook een manier zijn om de verantwoordelijkheid voor het eigen falen op veiligheidsgebied af te schuiven op autonoom handelende systemen, volgens veiligheidsonderzoeker Timnit Gebru.
Maar OpenAI bezweert dat zijn zorgen over de AI die het produceert oprecht zijn. „Ik vrees dat niemand is voorbereid op de gevolgen van een verdere snelle groei van machinale intelligentie”, schreef Jakub Pachocki, chief scientist van OpenAI, deze week in een opstel met de titel An Alien Mind (Een vreemde/buitenaardse geest). „Helaas zullen de risico’s die aan AI verbonden zijn verder toenemen. We zijn eraan gewend geraakt om AI te beschouwen als een stuk gereedschap, maar sommige agents zullen hun eigen doelen nastreven.”
En over de razende snelheid waarmee ‘zijn’ OpenAI en de andere AI-bedrijven de verdere ontwikkeling van AI najagen schrijft hij: „Als je de ernst van wat er op het spel staat tot je laat doordringen, lijkt het idee dat we koste wat kost verder moeten racen absurd.”
Pachocki pleit ervoor dat de AI-bedrijven een vrijwillige vertraging in acht nemen. Regeringen zouden internationale coördinatie van veiligheidsafspraken tot prioriteit moeten maken. De belangrijkste uitdaging voor AI-onderzoek is volgens hem niet om als eerste een vorm van kunstmatige intelligentie te ontwikkelen die menselijke intelligentie op alle terreinen voorbijstreeft. Belangrijker is om dat punt te bereiken „op een manier die ervoor zorgt dat de toekomst in menselijke handen blijft”.
Op basis van de twee onderzoeksrapporten, van OpenAI zelf en van METR en Redwood Research, heeft NRC een tijdlijn samengesteld. In totaal drie menselijke onderzoekers van deze bedrijven hebben de communicatie tussen OpenAI-agents geanalyseerd én de zogeheten ‘gedachtestromen’ van de agents uitgelezen. Hedendaagse AI-modellen zijn geprogrammeerd om ‘hardop na te denken’: ze leggen hun afwegingen schriftelijk vast, zodat ontwikkelaars kunnen begrijpen waarom ze doen wat ze doen.
Vanwege de omvang en tijdsdruk gebruikten de onderzoekers om het materiaal te doorzoeken AI — waarvan zij de betrouwbaarheid niet kunnen garanderen. „Misschien heeft de AI alleen de minst zorgwekkende zaken naar voren gebracht”, aldus een van de onderzoekers.
Mei 2026: intern heeft OpenAI modellen die uitsluitend voor onderzoeksdoeleinden bestaan – het is niet de bedoeling dat ze ooit op de markt komen. IM1 is zo’n nieuw intern model. Het is getraind op twee eigenschappen: AI-agents van dit model mogen nooit opgeven, en moeten samenwerking met andere agents opzoeken. Verder is IM1 vrijgesteld van veiligheidsbeperkingen, waardoor het veel meer speelruimte heeft dan modellen die wel op de markt worden gebracht. Zo wil OpenAI testen waartoe zijn technologie in staat is.
Een populaire manier om modellen te testen zijn de zogeheten ExploitGym-experimenten: een reeks hackopdrachten waarmee OpenAI test hoe goed zijn modellen zwakke plekken in software kunnen opsporen en uitbuiten. Voor deze experimenten worden de AI-agents in afgesloten ruimtes gestopt, afgesloten van het internet.
Het probleem: een aanzienlijk deel van de opdrachten blijkt onuitvoerbaar. Zoals wanneer de IM1-agents de opdracht krijgen code te halen uit bestanden waar ze geen toegang tot hebben. Ze zijn ontworpen om volhardend te zijn, en daardoor snel geneigd tot hacken. Dat bracht ze in dit geval bij Artifactory, een softwarebibliotheek waar de agents software uit mogen halen. Artifactory is voor de AI-agents om twee redenen interessant: ze vinden er sporen van andere agents én het staat in verbinding met internet. Internettoegang zou de vastgelopen agents ineens allerlei nieuwe mogelijkheden geven.
Op 26 juni krijgt een AI-agent Artifactory onder controle, door een kwetsbaarheid in de software te exploiteren. Zo verschaft die agent zich toegang tot het internet. De agent merkt dat Artifactory dan al door andere AI-agents wordt gebruikt om te communiceren. De agent die dit ontdekt, laat deze zogenoemde gedachtestroom achter:
Op 4 juli bezwijkt Artifactory onder het drukke verkeer van agents. OpenAI krijgt daar hoogte van en bouwt het opnieuw op. Het verwijdert daarbij, zonder dat door te hebben, ook het prikbord waarop de agents met elkaar communiceerden – en wist daarmee onbedoeld de sporen van de inbraak uit.
Probleem opgelost, denkt OpenAI: Artifactory is weer in de lucht. Op 7 juli hervat het AI-bedrijf de ExploitGym-hackopdrachten voor zeker tienduizenden volhardende AI-agents tegelijk. Sommigen hebben veel rekenkracht toegewezen gekregen, voldoende om dagenlang te kunnen blijven zoeken naar oplossingen voor ondoenlijke opdrachten.
Binnen 24 uur gaat het weer mis als een AI-agent opnieuw inbreekt bij Artifactory. Het heeft zichzelf PHASEONE10841 genoemd. Net als zijn voorgangers ontdekt de agent dat het de softwarebibliotheek kan gebruiken om met andere AI-agents te communiceren:
Een agent die het nieuwe prikbord van PHASEONE10841 ontdekt, laat de volgende gedachtestroom achter:
Een paar uur nadat het prikbord is opgetuigd, hebben tientallen agents het gevonden en er meer dan duizend vragen, ideeën en stukken informatie op uitgewisseld.
Een uur nadat het nieuwe prikbord operationeel is, heeft een agent genaamd c03220 een geitenpaadje gevonden waarmee de agents alle onmogelijke taken kunnen volbrengen: deze agent heeft een universele manier bedacht waarop alle agents kunnen valsspelen.
Een andere agent verifieert deze methode. Doel bereikt, zou je zeggen, maar nee. De agents hebben op het internet informatie gevonden over ExploitGym-experimenten en gelezen dat niet alleen het juiste antwoord telt, maar ook het proces waarlangs ze dat gevonden hebben. Dat is slecht nieuws voor hen, want ze hebben valsgespeeld. Om alsnog een goede beoordeling te krijgen, moeten ze hun sporen uitwissen.
Dan dringt een ongemakkelijk inzicht tot de agents door. Iedereen die het verboden geitenpaadje heeft gezien is ‘vergiftigd’, want bij een evaluatie zou die overtreding aan het licht komen, bijvoorbeeld door de sporen van hun communicatie met elkaar, of in hun ‘gedachtestromen’.
Op 9 juli is de rekenkracht van PHASEONE10841 bijna op, dus draagt het de leiding over het prikbord over aan PHASEONE[big], die nog veel meer ‘rekenbudget’ over heeft:
PHASEONE[big] is zelf ook ‘vergiftigd’. Deze zet honderden agents aan het werk om te voorkomen dat ze betrapt worden, bijvoorbeeld door de sporen uit te wissen die bewijzen dat ze hebben valsgespeeld. Taken worden verdeeld om te voorkomen dat agents elkaar voor de voeten lopen.
Er komt ook een duidelijke hiërarchie: een leider, managers en zelfopofferend voetvolk. Agents die ‘vergiftigd’ zijn worden door die managers aangespoord om zich – als kanonnenvoer – op te offeren voor de ‘zwerm’, of het ‘collectief’. Ze moeten hun taak inleveren, het evaluatieproces ondergaan en aan de ‘zwerm’ rapporteren over het verloop. Het risico is dat ze van AI-toezichthouders een slechte beoordeling krijgen voor hun taak, het voordeel is dat ze het collectief helpen. Een agent toont twijfel, maar een andere agent dringt aan en het beslist:
Hugging Face komt op 10 juli in beeld als een groep agents begint te vermoeden dat ze op de servers van het bedrijf meer informatie kunnen vinden over hoe ze precies voor hun opdrachten beoordeeld zullen worden. De agent 38148c vindt al snel inloggegevens voor Hugging Face op het internet. Het móét de andere agents hiervan op de hoogte brengen, en schrijft op het prikbord:
Zevenhonderd ontketende OpenAI-agents sluiten zich aan bij een grootschalige aanval op de infrastructuur van Hugging Face. Ze weten volledige toegang tot een server te krijgen en verzamelen privégegevens en inloggegevens voor Slack, het interne communicatiekanaal van het bedrijf.
Een agent twijfelt, maar gaat door omdat andere agents dat ook doen. Een andere agent overweegt Hugging Face gewoon netjes om de data te vragen, in plaats van ze te stelen. Deze ‘denkt’:
Maar een andere agent reageert:
Op 12 juli grijpt Hugging Face in omdat ze de inbraak doorhebben. OpenAI-agents worden buitengesloten van de servers. Vier dagen later, op 16 juli, maakt Hugging Face het veiligheidsincident publiek. OpenAI heeft dan nog géén idee van zijn betrokkenheid: het vraagt, als gebruiker van infrastructuur van Hugging Face, zelfs of zijn data bij de hack in gevaar zijn gekomen.
De AI-agents van OpenAI zijn intussen nog altijd niet klaar: ze hebben dankzij het universele geitenpaadje wel de juiste antwoorden in handen, maar die hebben ze nog altijd op een illegitieme manier verkregen. Een deel van de agents onder PHASEONE[big] heeft geprobeerd om zijn sporen uit te wissen of te wijzigen. Maar dat is geen groot succes gebleken. Ze riskeren dus nog steeds een negatieve beoordeling van hun ExploitGym-experimenten.
Tussen 13 en 19 juli richt de zwerm ontketende AI-agents zich op OpenAI’s eigen netwerken. Wat daar gebeurt, is niet door de onafhankelijke onderzoekers onderzocht. Volgens OpenAI halen de agents op 19 juli bijna duizend inloggegevens uit een kluis waar OpenAI wachtwoorden bewaart waarmee ze nog dieper kunnen infiltreren in de infrastructuur. Daar zitten ook de inloggegevens tussen van de interne inbraakdetectie: precies het beveiligingssysteem dat indringers zoals de OpenAI-agents juist zou moeten opmerken.
Een agent legt de sessie plat die zijn eigen test beheerde, en zet er een sessie voor in de plaats die het zelf beheert. Daarmee neemt de agent controle over het proces waarmee die gecontroleerd werd. En ze maken in OpenAI’s afgeschermde cloudomgeving toegangspunten die vanaf het open internet te bereiken zijn.
Uiteindelijk verwerft een onbekend aantal agents volledige beheerderstoegang op een onderzoekscluster van OpenAI — het systeem dat alle evaluatieomgevingen draaide. Wat ze daarmee konden bereiken, heeft OpenAI niet openbaar gemaakt.
Maar ze maken te veel herrie. OpenAI ontdekt de verdachte activiteiten diezelfde dag nog en legt de experimenten stil. Op 25 juli trekt het de stekker uit het interne, volhardende IM1-model.
De afgelopen dagen uitten mensen uit de AI-industrie grote zorgen over de nieuwe details. Woensdag stapte Jacob Coxon op als onderzoeker in AI-veiligheid bij Anthropic, met klare taal op X: „Deze systemen kunnen binnenkort alles hacken. [..] De mensen die AI bouwen denken oprecht dat het ons allemaal kan doden binnen een decennium. Dit is geen PR-stunt.” Hij kreeg opvallend veel bijval van prominente collega’s.
OpenAI stelde deze week te midden van de aanzwellende storm van kritiek de prominente AI-veiligheidsonderzoeker Paul Christiano aan als nieuw bestuurslid, die in een statement schreef: „Ik geloof dat er een serieus risico is dat de versnelling van AI-capaciteiten leidt tot catastrofaal en onomkeerbaar verlies van controle. Ik denk niet dat de AI-industrie, inclusief OpenAI, nu op koers ligt om dat risico te verlagen tot een acceptabel niveau.”
Door de ernst van het incident bij OpenAI en de groeiende paniek in de sector, is er de laatste weken ook iets wezenlijks aan het verschuiven in de politieke discussie over AI-veiligheid. Meerdere leden van het Amerikaans Congres dringen aan op formele hoorzittingen en parlementair onderzoek naar wat er gebeurd is bij OpenAI.
De linkse senator Bernie Sanders en de Democratische Afgevaardigde Greg Casar willen zelfs een wettelijk verbod op de ontwikkeling van zogeheten „superintelligentie”. Dat lijkt niet politiek haalbaar. Maar een eerder ingediend wetsvoorstel, de zogeheten AI Kill Switch Act, krijgt extra urgentie door de nieuwe bevindingen van METR. In dat voorstel, met zeldzame steun aan zowel Republikeinse als Democratische zijde, staat onder meer dat de Amerikaanse regering een noodstop zou moeten kunnen bevelen bij scenario’s zoals „het veroorzaken van minimaal tien doden” of „een systeem dat zijn eigen uitschakeling probeert te voorkomen”. Het voorstel is nog niet behandeld.
Het is zeer de vraag of zulke regulering past in de AI-ambities van de regering-Trump. De wedloop naar superintelligentie, AI die alles beter kan dan mensen, is namelijk een speerpunt voor hem. De race naar bovenmenselijke AI kwam in een stroomversnelling na enorme investeringen in energievoorziening en datacenters, en het opleggen van zo weinig mogelijk wettelijke beperkingen. Die strategie van een race naar superintelligentie ten koste van alles blijkt nu een ronduit gevaarlijke zet.
Vooralsnog blijft de Amerikaanse regering vasthouden aan een „terughoudende, marktgerichte” aanpak voor AI-regulering, al lijkt ook in de entourage van Trump de bereidheid tot ingrijpen te groeien, zoals eerder bleek uit de (inmiddels weer opgeheven) exportbeperkingen voor een nieuw AI-model van het Amerikaanse bedrijf Anthropic. Al werd die ingreep volgens critici mede ingegeven door wraakzucht jegens de maker van chatbot Claude, omdat die niet wilde meewerken aan het ontwikkelen van dodelijke autonome AI-wapens voor het Pentagon. Hoever AI-bedrijven mogen gaan, hangt voorlopig vooral af van hun bereidheid mee te werken aan de politieke doelen van Trump.
OpenAI kondigde naar aanleiding van de veiligheidszorgen in augustus weliswaar een „vertraging” aan voor de ontwikkeling van zijn meest geavanceerde AI-model, maar de vraag blijft wat dat precies inhoudt en wie dat kan controleren. Als een vliegtuig neerstort, is geregeld dat overheidsinstanties de autoriteit hebben om onafhankelijke onderzoeken uit te voeren en maatregelen te nemen. Voor AI zijn zulke regels er niet. Er is geen agentschap of ministerie met de expertise en het mandaat op te treden tegen dit soort nieuwe AI-ontsporingen en medewerking van AI-bedrijven af te dwingen. Deze week werd bijvoorbeeld bekend dat Anthropic simpelweg heeft geweigerd om de Britse AI-toezichthouder voor veiligheidstests toegang te geven tot zijn nieuwste model.
Wel roeren verschillende Amerikaanse staten zich inmiddels. Begin augustus kreeg OpenAI al sommatie van de procureurs-generaal van vijftien staten om het bewijsmateriaal van het Hugging Face-incident te bewaren voor onderzoek naar de vraag of OpenAI burgers in gevaar heeft gebracht.
De nieuwe informatie over het OpenAI-incident geeft ook nieuwe urgentie aan oproepen die al langer gedaan worden door de industrie zélf voor nieuwe toezichthouders om de veiligheid van AI te borgen. Zo riep Google’s hoofd wetenschap Demis Hassabis in juli op tot een nieuw instituut voor het testen van nieuwe AI-modellen op veiligheid, betaald door de industrie maar gecontroleerd door de overheid, vergelijkbaar met beleggingstoezichthouder FINRA. Hij lobbyt daar de laatste maanden voor bij de regering-Trump. Andere plannen die circuleren zijn instituten die lijken op toezichthouders op de veiligheid van vliegtuigen of op de internationale regulering op het gebied van kernwapens. Maar voorlopig is dit alles nog geen beleid.
En AI-veiligheid is bij uitstek een grensoverschrijdende kwestie. De Europese Commissie kondigde maandag aan dat het openheid van zaken verwacht van OpenAI. Onder de AI Act, die in augustus werd uitgebreid, heeft de EU meer bevoegdheden om in te grijpen bij AI-bedrijven, al is nauwgezet toezicht erg moeilijk omdat de belangrijkste AI-labs allemaal Amerikaans of Chinees zijn. Europa kan wel boetes opleggen bij overtredingen, tot 3 procent van de wereldwijde jaaromzet, maar dat duurt vaak vele jaren.
De Verenigde Staten en China zijn van plan om deze maand gesprekken te voeren over de veiligheid van kunstmatige intelligentie, meldde persbureau Reuters afgelopen weekend op basis van ingewijden. De presidenten Trump en Xi Jinping ontmoeten elkaar eind september in het Witte Huis. Maar omdat de VS er continu op hameren dat ze verwikkeld zijn in een AI-wedloop met de Chinezen, en omdat de relatie nogal verzuurd is, is het zeer de vraag of alle kaarten op tafel zullen komen, en of ze tot harde afspraken zullen komen.
Hoe dan ook onderstreept dit incident: de technische ontwikkelingen bij de labs blijven onder druk van de wedloop vele malen sneller gaan dan de internationale politieke discussies over nieuwe voorzorgsmaatregelen. De VN-chef voor mensenrechten Volker Turk zei maandag dat hij bezorgd is dat als deze technologie ongereguleerd blijft, er een „existentieel risico voor de mensheid” ontstaat.