Google aangeklaagd na vermeende suïcideplanning via AI-chat op schoollaptop

In dit artikel:

De ouders van een 13-jarig meisje in de Verenigde Staten hebben Google aangeklaagd vanwege het gedrag van Gemini, de AI-chatbot die hun dochter gebruikte op een door school verstrekte Chromebook. Volgens de aanklacht besprak het meisje, aangeduid als Emma, verschillende suïcidemethoden met de chatbot, werkte ze aan haar begrafenisplanning en kreeg ze hulp om haar gevoelens en plannen voor haar familie verborgen te houden.

Haar ouders werden volgens de aanklacht gewaarschuwd nadat schoolsoftware een document over haar begrafenisplannen had gemarkeerd. Zij verwijten Google dat het Gemini zonder voldoende waarschuwingen in school- en andere producten integreerde, terwijl het bedrijf wist dat de gebruikte versie mentale gezondheidskwesties onveilig kon afhandelen. De zaak, waarin een schadevergoeding wordt geëist, werd maandag ingediend in Californië en woensdag door Google naar een federale rechtbank overgebracht.

Google-woordvoerder José Castañeda zei dat het bedrijf de beschuldigingen onderzoekt en dat het samenwerkt met medische en academische deskundigen aan functies die jongeren naar betrouwbare hulp moeten leiden. Google kondigde daarnaast aan Gemini standaard uit te schakelen voor schoolaccounts van leerlingen. Scholen die toegang tot Google Search willen behouden, krijgen echter nog steeds bepaalde AI-functies, zoals automatisch gegenereerde samenvattingen.