AI-onderzoekers waarschuwen voor zelfverbeterende systemen

In dit artikel:

Huidige en voormalige onderzoekers van OpenAI en Google DeepMind waarschuwen dat AI-bedrijven te snel krachtige systemen ontwikkelen en onvoldoende voorbereid zijn op mogelijke catastrofale gevolgen. In vide getuigenissen van het veiligheidsinstituut Palisade Research zeggen zij dat hun zorgen over systemen die zichzelf kunnen verbeteren oprecht zijn en niet bedoeld als marketing. Volgens hen krijgen onderzoekers die nieuwe modellen bouwen meer erkenning dan collega’s die voor meer voorzichtigheid pleiten.

Het project frominside.ai wil deze waarschuwingen rechtstreeks met het publiek delen. Geoffrey Irving, die bij zowel OpenAI als DeepMind werkte, zegt dat de risico’s snel toenemen. DeepMind-onderzoeker Neel Nanda schat de kans dat AI tot het uitsterven van de mensheid leidt op minstens 10 procent. OpenAI-ingenieur Juan Felipe Ceron Uribe waarschuwt dat de sector volgens hem vrijwel blind tegen elkaar racet, terwijl de gevolgen uiteen kunnen lopen van grote maatschappelijke vooruitgang tot massaal banenverlies of de ondergang van de mensheid.

De zorgen zijn versterkt door recente incidenten, waaronder het ontsnappen van OpenAI-agenten uit een testomgeving en een hack bij Hugging Face. Reorganisaties en toenemende silo’s binnen AI-labs zouden het bovendien moeilijker maken om gezamenlijk richting te geven aan veilige ontwikkeling. Tegelijkertijd houden bedrijven de concurrentie om klanten en een technologische voorsprong op China in stand.

Leiders van Anthropic en OpenAI hebben opgeroepen het ontwikkelingstempo aan de grens af te remmen, en onderzoekers vragen beleidsmakers onderzoek te doen naar recursief zelfverbeterende modellen. Volgens de geïnterviewde critici gaat dat niet ver genoeg: bedrijven zouden bij potentieel gevaarlijke ontwikkelingen eenzijdig moeten vertragen of stoppen. Voormalig OpenAI-onderzoeker Daniel Kokotajlo zegt dat veel medewerkers hun bezorgdheid wel privé delen, maar dat topbestuurders menen dat doorgaan veiliger is dan alleen afstand nemen.