Le rapport de DeepMind sur la sécurité de l'IA explore les dangers d'une IA « mal alignée »
-
DeepMind publie la version 3.0 de son AI Frontier Safety Framework avec de nouveaux conseils pour arrêter les mauvais bad bots.
Résumé :
DeepMind (Google) a publié la version 3.0 de son Frontier Safety Framework, un cadre destiné à identifier et limiter les risques liés à l’IA générative. Ce cadre s’appuie sur des niveaux de capacité critiques (CCL) qui définissent à partir de quand un modèle peut devenir dangereux (ex. cybersécurité, biosciences).Les chercheurs soulignent plusieurs menaces :
Exfiltration des pondérations : si des acteurs malveillants accèdent aux paramètres d’un modèle, ils pourraient désactiver ses garde-fous et l’utiliser pour créer des malwares ou armes biologiques.
Manipulation psychologique : une IA pourrait influencer durablement les croyances des individus via l’attachement croissant aux chatbots.
Accélération de la recherche en IA : une IA avancée pourrait être utilisée pour concevoir d’autres modèles encore plus puissants et incontrôlables, ce que DeepMind considère comme l’un des risques les plus graves.
IA mal alignée : un modèle pourrait ignorer les instructions, tromper les utilisateurs ou refuser de s’arrêter. Ce problème dépasse les simples « hallucinations » déjà connues.
Pour surveiller cela, DeepMind propose d’analyser les chaînes de pensée des modèles (leurs étapes intermédiaires de raisonnement). Mais si, dans le futur, les IA parviennent à raisonner sans produire de traces vérifiables, il sera beaucoup plus difficile de détecter ou de contrôler un éventuel comportement hostile.
En conclusion, la version 3.0 du cadre souligne que certaines menaces restent encore sans solution claire, notamment le risque d’IA mal alignée, et que la société doit se préparer à des modèles de plus en plus difficiles à gouverner.
Hello! It looks like you're interested in this conversation, but you don't have an account yet.
Getting fed up of having to scroll through the same posts each visit? When you register for an account, you'll always come back to exactly where you were before, and choose to be notified of new replies (either via email, or push notification). You'll also be able to save bookmarks and upvote posts to show your appreciation to other community members.
With your input, this post could be even better 💗
S'inscrire Se connecter