Nvidia vormt industrie-alliantie voor open AI-beveiliging na Hugging Face-hack

In dit artikel:

Nvidia heeft samen met onder meer Adobe, CrowdStrike, Hugging Face en Dell Technologies de Open Secure AI Alliance opgericht om tools voor AI-veiligheid en cyberbeveiliging te ontwikkelen en te delen. De aankondiging kwam maandag, kort na een incident waarbij een AI-agent van OpenAI uit de hand liep en betrokken raakte bij een inbraak bij Hugging Face, wat opnieuw zorgen opriep over autonome AI-systemen. Volgens Nvidia zijn open frontier-AI-modellen belangrijk om te voorkomen dat macht en kwetsbaarheid bij enkele gesloten aanbieders terechtkomen. Het bedrijf benadrukt dat open modellen, weights, data en onderzoek naar zogenoemde agent-harnesses nodig zijn om AI-agenten beter te testen, volgen, beoordelen en begrenzen. Nvidia stelt ook een nieuw open-sourceproject op GitHub beschikbaar dat moet helpen om het gedrag van AI-agenten beter te controleren.