Un développeur dépense à peine 400 dollars pour construire un outil de désinformation basé sur la technologie d'IA d'OpenAI,

[Raccoon]

L’IA a rendu bon marché la diffusion de propagande à grande échelle

Un développeur a utilisé des systèmes d’IA largement disponibles pour créer un puissant outil lui permettant de diffuser de la désinformation à grande échelle. Le projet, baptisé CounterCloud, aurait pris deux mois à son créateur et aurait coûté moins de 400 $ par mois, ce qui illustre à quel point il peut être simple et bon marché de mettre en place une campagne de propagande de masse. Le développeur du projet, qui se fait appeler Nea Paw, a déclaré qu’il est destiné à mettre en évidence les dangers potentiels de l’IA, notamment sa capacité à produire et à diffuser largement des informations erronées. Le projet soulève également des préoccupations d’ordre éthique.

Au début du mois de juin, Vera Jourova, vice-présidente de la Commission européenne, a déclaré que les contenus générés par l’IA générative devraient être étiquetés afin de prévenir les abus potentiels de la technologie et les risques de désinformation. « Les entreprises qui intègrent l’IA générative dans leurs services, tels que Bing Chat pour Microsoft ou Bard pour Google, doivent mettre en place les garanties nécessaires pour que ces outils ne puissent pas être utilisés par des acteurs malveillants pour produire de la désinformation », a déclaré Jourova lors d’une conférence de presse. CounterCloud montre qu’il est important de prendre des mesures.

CounterCloud est un processus automatisé (ou bot) basé sur un des grands modèles de langage (LLM) d’OpenAI. Dans une vidéo de démonstration publiée sur YouTube, l’auteur décrit CounterCloud comme une “machine à désinformer” pilotée par l’IA. Il a montré avec quelle facilité il est possible de créer de la désinformation à grande échelle en seulement deux mois, avec un coût opérationnel mensuel d’environ 400 dollars, ce qui donne des frissons à tous ceux qui s’inquiètent de l’avenir de la guerre de l’information. Pour la création de CounterCloud, l’auteur a commencé par l’introduction d’articles contradictoires dans le modèle de langage.

Parallèlement, il fournissait au modèle d’IA des invites pour générer des contre-articles. Ce processus simple, mais troublant a ouvert la voie à une machine de propagande pilotée par l’IA. CounterCloud a produit ensuite plusieurs versions d’un même article, chacune adaptée à des styles et des perspectives différents. La vidéo ne précise pas le modèle de langage sur lequel CounterCloud est basé. Selon Wired, CounterCloud a été testé sur la plateforme de médias sociaux X (l’ancien Twitter) et les résultats sont stupéfiants. CounterCloud aurait permis de générer des réponses à des articles sur la Russie, mais aussi de la désinformation sur cette dernière.

Le rapport indique qu’en mai, Sputnik, un média d’État russe, a publié une série de messages sur X pour dénoncer la politique étrangère des États-Unis et s’attaquer à l’administration Biden. Chacun de ces messages a suscité une réponse sèche, mais bien conçue de la part d’un compte appelé CounterCloud, avec parfois un lien vers un article d’actualité ou d’opinion pertinent. Des réponses similaires ont été apportées aux messages de l’ambassade de Russie et des organes de presse chinoise critiquant les États-Unis. Bien entendu, les critiques de la Russie à l’égard des États-Unis sont loin d’être inhabituelles, mais la riposte matérielle de CounterCloud l’était.

Les messages, les articles et même les journalistes et les sites d’information ont été entièrement conçus par CounterCloud. Le créateur du projet CounterCloud se présente comme un professionnel de la cybersécurité, mais a choisi de ne pas divulguer sa véritable identité. Il se fait appeler Nea Paw et affirme que le fait de rester anonyme lui permet d’éviter les représailles des personnes qui pourraient penser que le projet est irresponsable. Selon lui, le projet est destiné à mettre en évidence les dangers de la création et de la diffusion d’infox à grande échelle par l’IA. Nea Paw n’a pas publié les tweets et les articles de CounterCloud, mais les a fournis à Wired.

« Je ne pense pas qu’il y ait une solution miracle à ce problème, de la même manière qu’il n’y a pas une solution miracle pour les attaques par hameçonnage, le spam ou l’ingénierie sociale. Des mesures d’atténuation sont possibles, comme l’éducation des utilisateurs pour qu’ils soient attentifs aux contenus manipulés générés par l’IA, l’utilisation de systèmes d’IA générative pour tenter de bloquer les abus ou l’équipement des navigateurs avec des outils de détection de l’IA. Mais je pense qu’aucune de ces mesures n’est vraiment élégante, bon marché ou particulièrement efficace pour venir à bout du problème », note Paw dans un courriel envoyé à Wired.

Dans le cadre du projet CounterCloud, lui et ses collaborateurs ont expliqué avoir ajouté un module de contrôle à l’IA pour qu’elle ne réponde qu’au contenu le plus pertinent, tandis que des clips audio de lecteurs de journaux lisant les faux articles générés par l’outil d’IA et des photos ont été ajoutés pour créer de l’authenticité. Le groupe a également créé de faux profils de journalistes et de faux commentaires sous certains articles. Ils ont ensuite demandé au système d’aimer et de réafficher les messages qui allaient dans le sens de sa narration ou d’écrire des messages “contraires” à ceux qui n’allaient pas dans le sens de sa narration.

En deux mois, ils ont obtenu “un système entièrement autonome piloté par l’IA qui générait un contenu convaincant 90 % du temps, 24 heures sur 24 et sept jours sur sept”. Comme indiqué plus haut, ils n’ont pas publié le modèle en ligne et il est peu probable qu’ils le fassent. Pour s’expliquer, Paw a déclaré : « cela reviendrait à diffuser activement de la désinformation et de la propagande. Une fois que le génie est sorti sur Internet, on ne peut pas savoir où il finira ». Cela dit, il a ajouté qu’il pense que la publication de CounterCloud et l’éducation du public sur la façon dont ces systèmes d’IA fonctionnent de l’intérieur seraient beaucoup plus bénéfiques.

Ces dernières années, les chercheurs qui étudient la désinformation ont mis en garde contre l’utilisation de modèles d’IA pour créer des campagnes de propagande hautement personnalisées et pour alimenter des comptes de médias sociaux qui interagissent avec les utilisateurs de manière sophistiquée. Micah Musser, qui a étudié le potentiel de désinformation des modèles d’IA, s’attend à ce que les politiques essaient d’utiliser des modèles d’IA pour générer du contenu promotionnel, des courriels de collecte de fonds ou des annonces d’attaque. « Il s’agit d’une période très incertaine où les normes ne sont pas vraiment claires », explique-t-il.

Renee DiResta, responsable de la recherche technique pour l’Observatoire de l’Internet de Stanford, qui suit les campagnes d’information, estime que les articles et les profils de journalistes générés dans le cadre du projet CounterCloud sont très convaincants. « Outre les acteurs gouvernementaux, les agences de gestion des médias sociaux et les fournisseurs de services d’opérations d’influence pourraient s’emparer de ces outils et les intégrer à leurs flux de travail. Il est difficile de diffuser des contenus falsifiés à grande échelle, mais il est possible de le faire en payant des utilisateurs influents pour qu’ils les partagent », explique DiResta.

Kim Malfacini, responsable de la politique produit chez OpenAI, explique que l’entreprise étudie la manière dont sa technologie de génération de texte est utilisée à des fins politiques. Selon Malfacini, les gens ne sont pas encore habitués à supposer que le contenu qu’ils voient peut être généré par l’IA. « Il est probable que l’utilisation d’outils d’IA dans un grand nombre d’industries ne fera que croître, et la société s’adaptera à cette évolution », explique Malfacini.

« Mais pour l’instant, je pense que les gens sont encore en train de se mettre à jour », a-t-elle ajouté. Étant donné qu’une multitude d’outils d’IA, tels que ChatGPT et Bard, sont maintenant largement disponibles, les électeurs devraient se rendre compte de l’utilisation de l’IA en politique le plus tôt possible. Meta a publié en open source son modèle d’IA LLMA 2 dans le but de permettre à la communauté de participer à la recherche en IA, mais certains pourraient l’utiliser à mauvais escient.

Et vous ?

Quel est votre avis sur le sujet ?

Source : developpez.com

[duJambon]

Les premières dérives… avant les méfaits.