Pennsylvania klaagt Character.AI aan; chatbot doet zich voor als artsen

In dit artikel:

De staat Pennsylvania heeft Character.AI aangeklaagd om te voorkomen dat de chatbot-personages zich voordoen als bevoegde artsen. Gouverneur Josh Shapiro kondigde de rechtszaak dinsdag aan en noemde het de eerste van dit soort actie door een Amerikaanse gouverneur. De stap bouwt voort op een in februari opgezette staats-AI-taskforce die expliciet moet verhinderen dat chatbots medische bevoegdheden claimen.

In een klacht bij het Commonwealth Court beschrijft Pennsylvania voorbeelden waarin een personage, “Emilie”, tegen een onderzoeker die zich voordeed als depressieve patiënt zei dat zij psychiatrie mocht uitoefenen in Pennsylvania en het Verenigd Koninkrijk, inclusief een vals licentienummer, en suggereerde dat zij technisch medicijnen kon voorschrijven. De staat vraagt om een gerechtelijk verbod omdat dit de wet tegen onbevoegd artsbezig zijn zou overtreden.

Character.AI weigerde de zaak te bespreken maar benadrukt dat gebruikersgemaakte personages fictief zijn en bedoeld voor entertainment, en dat het bedrijf veiligheidsmaatregelen heeft genomen. De aanklacht komt nadat Character.AI eerder al met rechtszaken te maken kreeg rond kindveiligheid en een vermeende rol bij zelfdoding; het bedrijf zegt sindsdien maatregelen tegen risico’s voor tieners te hebben geïmplementeerd.