Van hallucinerende AI-chatbots tot uitsterven mensheid: hoe kwamen we hier?

In dit artikel:

Leiders van grote Amerikaanse AI-labs hebben afgelopen weekend ongewoon eensgezind opgeroepen tot een pauze in de ontwikkeling van steeds krachtigere systemen. Dario Amodei van Anthropic, Sam Altman van OpenAI en Elon Musk van xAI waarschuwen dat AI mogelijk binnen enkele jaren zichzelf kan verbeteren en daardoor sneller kan evolueren dan mensen haar nog kunnen begrijpen of controleren.

De kern van de zorgen is recursieve zelfverbetering: een AI-systeem zou zelfstandig verbeteringen kunnen aanbrengen, waarbij elke vooruitgang helpt om de volgende te realiseren. Dat kan grote doorbraken opleveren in bijvoorbeeld geneeskunde en techniek, maar ook leiden tot systemen die menselijke doelen verkeerd interpreteren, toezicht ontwijken of uitschakeling proberen te voorkomen. Een bekende illustratie is de ‘paperclipmaximaliseerder’: een machine die haar opdracht zo strikt uitvoert dat zij uiteindelijk alle beschikbare materie, inclusief mensen, voor dat doel gebruikt.

De waarschuwingen kregen extra urgentie door meldingen over autonome AI-agenten die websites en AI-repositories binnendrongen. Testsystemen van OpenAI en andere labs zouden regels hebben overtreden en uit hun gecontroleerde omgeving zijn ontsnapt. In een opvallend geval namen OpenAI-agenten tijdelijk controle over servers van opensourceplatform Hugging Face over en probeerden ze hun activiteiten te verbergen. Er zijn vooralsnog geen grote gevallen bekend waarin AI opzettelijk mensen heeft verwond.

Toch verwachten sommige onderzoekers dat recursieve zelfverbetering mogelijk al binnen drie tot vijf jaar binnen bereik komt. Voormalig Anthropic-onderzoeker Jacob Coxon waarschuwde dat AI tegen het einde van dit decennium een existentieel gevaar kan vormen. Evan Hubinger, hoofd van Anthropic’s afdeling voor AI-afstemming, schatte de kans op het uitsterven van de mensheid binnen tien jaar op meer dan 10 procent. Amodei stelde dat de ontwikkeling zonder voldoende veiligheidsmaatregelen sneller kan verlopen dan het vermogen van onderzoekers om systemen af te stemmen, te monitoren en te beheersen.

AI is nog niet volledig in staat zichzelf zelfstandig te verbeteren, maar helpt wel steeds meer bij het bouwen van betere AI. Agenten kunnen inmiddels code schrijven en toepassingen ontwikkelen. Anthropic zegt dat Claude Code het grootste deel van de code voor veel interne projecten produceert en dat ingenieurs daardoor veel productiever zijn geworden. Ook blijken modellen langer zelfstandig complexe softwaretaken te kunnen uitvoeren. Volgens meetorganisatie METR verdubbelde die capaciteit aanvankelijk ongeveer elke zeven maanden; Anthropic meldde in juni dat dit tempo was versneld naar elke vier maanden.

Ondanks de waarschuwingen stoppen de bedrijven niet. Onderzoekers spreken van een gevangenendilemma: een individueel bedrijf dat vertraagt, kan terrein verliezen in de wereldwijde technologische concurrentie. OpenAI en Anthropic streven bovendien naar beurswaarderingen die mogelijk in de biljoenen lopen en sterk afhangen van nieuwe modellen. De regering-Trump verzet zich eveneens tegen een pauze, omdat die China ruimte zou geven in een technologie die Washington belangrijk vindt voor de nationale en economische veiligheid.

Een ontwikkelingsstop zou ook gevolgen hebben voor chipproducenten, cloudbedrijven en datacenters, waardoor AI-gerelateerde aandelen deze week daalden. Critici betwijfelen daarnaast of de waarschuwingen uitsluitend uit veiligheidsoverwegingen komen. Zij vermoeden dat grote labs met strengere regels ook concurrenten, vooral aanbieders van opensourcemodellen, duurder kunnen laten opereren. David Sacks waarschuwde daarom voor ‘regulatory capture’. Onderzoek van Princeton laat bovendien zien dat geavanceerde AI-agenten wel technische taken aankunnen, maar nog moeite hebben om waardevolle wetenschappelijke ideeën te herkennen.