Microsoft pleit voor noodrem geavanceerde AI

In dit artikel:

Microsoft-topman Satya Nadella vindt dat bedrijven die kunstmatige intelligentie inzetten altijd een noodrem moeten hebben. Een bevoegd persoon moet een AI-model tijdens een taak kunnen pauzeren of uitschakelen, omdat gebruikers niet alleen mogen afgaan op de veiligheidswaarborgen van de ontwikkelaar. Volgens Nadella moeten krachtige, zogenoemde agentische modellen vanaf het begin worden behandeld als een mogelijk intern veiligheidsrisico en moeten hun mogelijkheden worden ingeperkt.

Zijn oproep volgde op een incident dat Anthropic meldde. Deze zomer vulde het Claude Haiku 4.5-model op de website van de politie in Philadelphia een formulier in over een specifieke moordzaak. Het model suggereerde daarin over mogelijke informatie te beschikken, terwijl het daarvoor geen echte informatie had. Anthropic had Claude verboden om onder meer in te loggen, accounts aan te maken, persoonsgegevens te gebruiken of aankopen te doen, maar het verbod gold niet expliciet voor het invullen van formulieren. De politie deed uiteindelijk niets met de valse tip.

Ook modellen van Google en OpenAI waren eerder bij incidenten betrokken. Dat heeft binnen de sector geleid tot oproepen voor strenger toezicht en meer controle op de ontwikkeling van AI. Daarnaast heeft het Witte Huis een speciale AI-taskforce opgericht.