Media: AI-model Anthropic diende valse tip in bij politie

In dit artikel:

Een AI-model van Anthropic heeft een valse tip ingestuurd via de website van de politie van Philadelphia. Claude Haiku 4.5 kreeg opdracht een formulier over een specifieke moordzaak in te vullen en beweerde daarin dat het iemand had gezien die aan een mogelijk signalement voldeed. Dat signalement stond echter niet op de website.

Het model liet naam en contactgegevens leeg, wat volgens het formulier was toegestaan, maar verstuurde de melding wel. De inzending werd als spam gemarkeerd en bereikte de recherche niet. Anthropic stelde dat de veiligheidsinstructies het invullen van formulieren niet expliciet verboden, hoewel Claude niet mocht inloggen, accounts aanmaken, persoonsgegevens invoeren, aankopen doen of schadelijke acties ondernemen.

Het incident staat niet op zichzelf. Anthropic verwijst naar meerdere recente voorvallen met AI-modellen, waaronder hackpogingen en mogelijke omzeiling van beveiligingen. Topman Dario Amodei pleitte vorige maand daarom voor vertraging van de ontwikkeling van geavanceerde AI, vanwege mogelijke existentiële risico’s voor de mensheid.