Onderzoekers: open-source AI-modellen kwetsbaar voor crimineel misbruik

In dit artikel:

Onderzoekers van SentinelOne en Censys waarschuwen dat misbruik van open-source large language models (LLM’s) die buiten grote AI-platforms zelf worden gehost, eenvoudig kan plaatsvinden. In een 293 dagen durende studie, exclusief gedeeld met Reuters, analyseerden zij publiek toegankelijke implementaties via Ollama en troffen duizenden zelf-gehoste LLM’s aan — veelal varianten van Meta’s Llama en Google DeepMind’s Gemma — waarvan een substantieel deel zonder beschermende vangrails draaide.

De onderzoekers tonen aan dat aanvallers de machines kunnen targeten die de modellen draaien en die middelen inzetten voor spam, phishing, desinformatie, hacking, diefstal van persoonsgegevens, oplichting en in sommige gevallen materiaal met seksueel misbruik van kinderen. Bij ongeveer een kwart van de geobserveerde LLM’s konden de system prompts (de instructies die het gedrag van het model sturen) worden ingezien; daarvan leken circa 7,5% geschikt om schadelijke activiteiten te faciliteren. Rond 30% van de hosts draait in China en ongeveer 20% in de VS.

De conclusie is dat zelf-gehoste open modellen beveiligingsgaten en operationele mogelijkheden bieden die bestaande platformprotocollen kunnen omzeilen. Experts benadrukken dat verantwoordelijkheid gedeeld is: ontwikkelende labs, uitvoerders en beveiligingsteams moeten voorzorgsmaatregelen treffen, risico’s documenteren en mitigatietools leveren, zeker gezien ongelijkheid in handhavingscapaciteit wereldwijd. Meta wees op beschikbare Llama-beschermingstools en richtlijnen; Microsoft zegt vooraf risico-evaluaties en monitoring te doen maar erkent dat open modellen misbruikbaar zijn zonder passende waarborgen. Ollama, Google en Anthropic reageerden niet op vragen. De studie onderstreept volgens de onderzoekers een onderschat probleem in de AI-wereld dat meer aandacht en gezamenlijke mitigatie vereist.