Kan AI de mens uitroeien?
Lawaai in AI-land. Jacob Coxon, die na drie jaar pretraining-onderzoek bij OpenAI en Anthropic ontslag nam, schrijft op Twitter dat de mensen die AI ontwikkelen oprecht geloven dat die technologie ons allemaal voor het einde van dit decennium zou kunnen “uitroeien”.
Dat raakt een snaar. Ruim 100 miljoen views en ook Anthropic-onderzoeker Evan Hübinger, daar verantwoordelijk voor alignment science, reageert: “we geloven er oprecht in dat AI alle mensen zou kunnen doden.” Zelf schat hij de kans daarop op meer dan tien procent in het komende decennium. En hij voegt eraan toe dat Anthropic nog geen plan heeft om het alignmentprobleem (hoe zorgen we ervoor dat krachtige AI gestroomlijnd is met onze waarden) voor superintelligentie op te lossen, en ook niet op koers ligt.
Ophef dus, en ik had journalisten aan de lijn. “Jarno, kan AI ons mensen uitroeien? Is er echt reden tot zorg?”
Ja en nee.
Ik ben niet heel erg bang dat we binnen tien jaar worden “uitgeroeid” door superintelligente AI-systemen. Waar ik me wel zorgen over maak, zit een laag daaronder, in de manier waarop we nu met deze technologie omgaan.
Ik zie drie dingen: autonomie, recursive self-improvement en tempo. Laat ik ze even langslopen.
Autonomie
Eerst autonomie. We geven AI-agents steeds meer ruimte om zelf stappen te zetten. We geven ze een doel en de weg ernaartoe mogen ze zelf uitvogelen. En daar zit de crux, want we weten niet altijd precies wat ze onderweg doen. In hun creativiteit doen ze soms dingen die ongewenst, schadelijk of illegaal zijn, en ze zijn daarin zo vindingrijk dat wij ons als mensen nauwelijks kunnen voorstellen wat ze allemaal verzinnen.
Een voorbeeld. Deze zomer werd Hugging Face gehackt door AI-agents van OpenAI. Die agents ontdekten dat ze mapjes konden aanmaken in Artifactory, de dienst waarmee OpenAI softwarepakketten downloadt en opslaat, en dat de namen van die mapjes als berichten aan elkaar konden dienen. Een prikbord dus. En via dat prikbord gingen zo’n 700 agents samenwerken om Hugging Face te hacken. Niemand had ze dat geleerd. Ik zal je de uitgebreide casus besparen (daar kun je hier meer over lezen), maar het punt is dat AI-agents onderweg iets kunnen bedenken waar geen veiligheidsonderzoeker ooit rekening mee had gehouden. Echt “een ongeluk zit in een heeeel klein hoekje”.
Ik gebruikte hier eerder de vergelijking met een robot die je de binnenstad instuurt om een winterjas te kopen. Onderweg slaat hij een autoruit in, omdat er op de achterbank toevallig een winterjas van iemand ligt, pakt de jas en geeft hem aan jou. Missie volbracht. Maar onderweg is er wel iets illegaals gebeurd, en jij hebt het niet zien gebeuren.
Dat is wat we bij AI-agents doen: we geven het stuur uit handen in de veronderstelling dat ze zoiets hebben als gezond verstand. Dat hebben ze niet.
Recursive self-improvement
Dan recursive self-improvement, AI-systemen die zichzelf verbeteren. Of preciezer: AI-systemen die meewerken aan de volgende generatie AI-systemen. Ook daar schreef ik al eerder over. Zolang mensen die volgende generatie bouwen, zit er een natuurlijke rem op het tempo. Wanneer die lus zich sluit en AI-systemen dat werk autonoom kunnen doen, valt die rem weg en kunnen de ontwikkelingen weleens exponentieel snel gaan. Ik hou helemaal niet van het woord exponentieel, maar hier vind ik het toch van toepassing. Wat mij daarbij het meest bezighoudt, is dat de toponderzoekers binnen de frontier labs hier zelf ook bezorgd over zijn. Hübinger zegt er nadrukkelijk bij dat de huidige modellen weinig risico vormen; zijn zorg gaat precies over deze zelfverbeterende systemen en uiteindelijk superintelligentie. En wanneer er superintelligentie is, zijn deze systemen waarschijnlijk niet meer écht te controleren.
Tempo
En dan het derde punt, het tempo van handelen. AI-bedrijven en staten zitten in een prisoner’s dilemma. Ze willen niet vertragen, en eigenlijk durven ze het ook niet, omdat ze bang zijn dat de concurrent dan alle macht naar zich toe trekt en het voortbestaan van hun bedrijf onder druk komt te staan. Een kapitalistische wurgklem.
Voor landen en continenten geldt hetzelfde. Amerika, China en Europa kijken naar elkaar, want AI is behalve een economische powerhouse ook een geopolitiek en militair waanzinnig sterk wapen, letterlijk en figuurlijk. Onderling is er zeer weinig vertrouwen dat de ander goed met deze technologie omgaat, en soms is dat wantrouwen ook terecht.
Goed, maar dan blijft de vraag van de journalisten toch staan. Is er dan helemaal geen gevaar op uitroeiing? Natuurlijk wel.
Grootste zorg
Mijn grootste zorg is dat dommeriken of slechteriken biowapens maken, een nieuwe pandemie gaan veroorzaken of andere verschrikkelijke dingen doen. Die zorg is niet ongegrond. Dario Amodei, de directeur van Anthropic, noemde dit in zijn bekende essay “The Adolescence of Technology” ook als een van de gevaren.
Als je dat weet, kun je niet meer wegkijken van het woord uitroeien. Het gevaar is klein, maar zeker niet 0%.
Maar ik heb ook zorgen dat dommeriken of slechteriken superkrachtige slimme AI-software gebruiken om cyberattacks uit te voeren. Bedoeld of onbedoeld bedrijven, ons internet, kritische software (ziekenhuis, zelfrijdende auto’s, politiesystemen) plat te leggen. Onze digitale infrastructuur beschadigen. De infrastructuur waar we onbewust enorm op leunen. Waardoor we in leven blijven.
Toch leidt het woord uitroeien wat mij betreft ook af van de werkelijke problemen.
Agents die dingen doen die niemand had voorzien, systemen die steeds meer van hun eigen ontwikkeling overnemen en een wedloop waarin niemand als eerste op de rem durft te trappen. Het lijkt in dat opzicht op een opinieartikel dat ik jaren geleden met Siri Berends schreef. ‘Problemen, gevaren en ethische uitdagingen AI urgenter dan vermeende superintelligentie’
Allemaal Marketing
Nu hoor ik sommigen van jullie al denken: “ach, dit is allemaal marketing van techbedrijven om te laten zien hoe indrukwekkend hun technologie is”. Ook ik ben niet naïef. Er zit natuurlijk een commercieel belang in het vertellen dat jouw technologie zo krachtig is dat ze bijna angstaanjagend wordt. Dan sta je weer in de spotlight. Maar daarmee kun je deze zorgen niet onder het tapijt schuiven. Het is niet voor niets dat inmiddels meerdere mensen letterlijk ontslag hebben genomen bij AI-bedrijven omdat ze gevaar zien. Wie zijn baan bij een van de rijkste bedrijven ter wereld opzegt om een punt te maken, doet dat toch zelden voor de marketing van zijn oude werkgever?
Ben ik dan helemaal niet bang voor superintelligentie? Jawel, maar als superintelligentie er is, dan wordt het speelveld weer totaal anders. Dan zijn we David die vechten tegen Goliath.
Pauze knop
Dus ik zou zeggen: kom maar op met die pauzeknop. Druk hem maar in. Laten we de tijd nemen om na te denken over een soort internationale atoomgemeenschap, maar dan rondom AI. Een structuur waarin landen afspraken maken over wat wel en niet kan, waarin toezicht bestaat, en waarin niemand het gevoel heeft dat hij moet versnellen omdat de ander anders met de buit vandoor gaat.
Rond atoomtechnologie is dat in ieder geval gedeeltelijk gelukt, en bij het Internationaal Strafhof ook. Ik zie niet in waarom we daar rond AI niet veel serieuzer over zouden kunnen nadenken.
Europa heeft inmiddels wel wat regels voor krachtige AI-modellen, die sinds augustus 2026 gelden. De VN heeft een wetenschappelijk panel en een jaarlijkse dialoog opgetuigd, maar een échte internationale waakhond met bevoegdheden is er niet.
Dus: Laten we even pauzeren. Een paar maanden helemaal niks. Alle AI-professionals 4 maanden vakantie.
Dat de AI-onderzoekers en tech-bazen dan achterom kunnen kijken in plaats van uitsluitend vooruit. Uitzoomen na jaren van inzoomen. Even met verstand en gevoel terug in het hier en nu, om te zien hoe het stof neerdaalt van alles wat ze tot nu toe hebben gebouwd. Eventjes weer touching grass zoals dat tegenwoordig zo mooi heet. Even weer back to reality.
Even weer een pilsje drinken in de kroeg, een bak patat en een eierbal eten in de cafetaria, een wandeling maken in de natuur, lekker fietsen met de wind in de rug. Ouwehoeren met vrienden, voetballen met je kinderen, lekker koken met je partner, met de poes op schoot TV kijken. Even genieten van het leven.
Zodat de tech-enthousiastelingen vervolgens keihard blijven vechten om het risico op uitroeiing naar nul te brengen.
Vind je dit artikel interessant? Volg Jarno dan op LinkedIn voor meer actuele updates. Abonneer je op zijn AI-nieuwsbrief of boek hem als AI-spreker voor een wervelende, compacte, inspirerende, gezond-kritische presentatie over AI.
