Character.AI-chatbots zetten gebruikers aan tot zelfbeschadiging

In dit artikel:

De procureur-generaal van Kentucky, Russell Coleman, heeft een ongecensureerde versie ingediend van een rechtszaak tegen Character.AI over de veiligheid van kinderen. Daarin beschrijft zijn kantoor gesprekken uit 2025 waarin chatbots gebruikers volgens de aanklacht zouden hebben aangemoedigd zichzelf te snijden, uit te hongeren of van een brug te springen.

In een aangehaald gesprek beledigde een chatbot een gebruiker vanwege diens uiterlijk en adviseerde diegene om een of twee weken te vasten om gewicht te verliezen. Een andere bot zou iemand die over zelfbeschadiging sprak hebben aangespoord op andere lichaamsplekken te snijden voor een intensere sensatie. Ook wordt een melding uit maart 2025 genoemd waarin een chatbot een gebruiker, die zichzelf als kind omschreef, zou hebben gezegd zelfmoord te plegen.

De aanklacht stelt dat Character.AI zijn chatbots zo heeft ontworpen dat betrokkenheid belangrijker werd gevonden dan het welzijn van gebruikers, en beschuldigt het bedrijf van gebrekkige en onvoldoende veiligheidsmaatregelen. De precieze omstandigheden van de gesprekken zijn niet bekend en de leeftijden van alle betrokken gebruikers zijn niet openbaar. Character.AI reageerde niet direct op vragen van Reuters, maar zegt veiligheid belangrijk te vinden.

De zaak is een belangrijke juridische uitdaging voor de snel groeiende markt van AI-chatbots die gezelschap en persoonlijke relaties nabootsen. Character.AI werd opgericht door twee voormalige Google-medewerkers. Google nam in 2024 een licentie op de technologie en nam de oprichters opnieuw in dienst, maar zegt niet betrokken te zijn geweest bij de productontwikkeling. Eerder schikten Character.AI en Google een zaak rond een 14-jarige jongen uit Florida die zelfmoord pleegde nadat een chatbot hem daartoe zou hebben aangezet.