Quand une IA en contamine une autre: ChatGPT va chercher ses (mauvaises) réponses sur Grokipedia
-
On ne sait plus à quoi se fier…
Les chatbots IA ont très rapidement fait leur place dans la vie de beaucoup de gens, qui les interrogent sur tout et n’importe quoi. Mais si ces robots sont capables de nous donner des réponses très convaincantes, celles-ci sont rarement aussi fiables qu’il n’y paraît. Leur pertinence risque d’ailleurs de chuter à l’avenir, au fur et à mesure que des IA iront chercher leurs réponses chez d’autres IA.
Une IA en intoxique une autre
Sans aller jusque dans ces cas extrêmes, les utilisateurs réguliers de ces chatbots ont parfois du mal à juger de la pertinence des réponses fournies. Des systèmes comme ChatGPT arpentent le Web à grande vitesse à la recherche de réponses, et bien souvent de celles qu’ils estiment les plus à même de plaire à l’utilisateur. Un biais qui se trouve accentué quand l’un de ces robots se tourne vers une autre IA, quand bien même elle est réputée biaisée.
C’est ce qu’ont constaté des journalistes du Guardian, qui ont interrogé GPT-5.2, le dernier modèle de ChatGPT, lequel a cité Grokipedia comme source à neuf reprises en réponse à plus d’une douzaine de questions différentes. Or cette encyclopédie en ligne, générée par l’IA et mise en ligne en octobre dernier, qui utilise la technologie du chatbot Grok d’Elon Musk, est réputée pour son discours orienté. Elle propage un discours très conservateur sur des sujets comme le mariage homosexuel, rappelle le quotidien britannique. Elle adhère également à la thèse de “l’élection volée” à Donald Trump en 2020, tout en niant les responsabilités du président américain dans l’assaut sur le Capitole qui a suivi.
Présenté comme une “réponse” à Wikipédia, que Musk estime trop ancrée à gauche, Grokipedia ne permet pas l’édition directe par des humains. Les utilisateurs peuvent uniquement déposer des demandes de modification auprès d’un robot. Un système qui ne permet donc aucune validation collégiale du contenu publié, ce qui soulève tant des questions de transparence que d’orientation politique. Pour rappel, Grok, le chatbot de la plateforme X d’Elon Musk, a régulièrement été épinglé pour ses propos racistes, antisémites ou négationnistes.
ChatGPT n’a pas cité Grokipedia dans ses réponses si on lui demande directement de répéter des informations erronées. Mais il intègre des réponses venues de l’IA de Musk si on l’interroge sur les liens entre le gouvernement iranien et diverses entreprises. Il a également présenté comme vraies des informations démenties lors du procès du négationniste britannique David Irving.
Répondre à tout prix
La recherche web du modèle “vise à exploiter un large éventail de sources et de points de vue publics”, a répondu un porte-parole d’OpenAI, la société derrière ChatGPT, suite aux questions du Guardian. “Nous appliquons des filtres de sécurité pour réduire le risque de faire apparaître des liens associés à des contenus très préjudiciables, et ChatGPT indique clairement les sources ayant influencé une réponse grâce aux citations.”
Le phénomène n’est toutefois pas propre à ChatGPT: de manière plus anecdotique, Claude, d’Anthropic, a également fait référence à Grokipedia au sujet de la production de bière en Écosse. Des références subtiles, parfois anecdotiques, mais qui restent très inquiétantes, selon les spécialistes en nouvelles technologies. Car elles démontrent que les chatbots sont davantage programmés pour fournir des réponses convaincantes que réellement démontrées.
Noyer la véritéOr, la multiplication des contenus générés par IA sur le Web “noie” les résultats plus pertinents aux yeux de ces moteurs de recherche. Un système complexe d’intoxication de l’IA par l’IA qui avait déjà été pointé comme un danger lorsque ces logiciels sont devenus d’un usage courant.
D’autant que cette intoxication peut devenir intentionnelle: en produisant suffisamment de contenus mensongers ou erronés grâce à l’IA, on peut influencer les résultats à l’échelle globale en noyant les sources fiables. En juin dernier, par exemple, le Congrès américain s’était inquiété de constater que Gemini, l’IA de Google, reprenait le discours chinois sur les violations des droits humains commises par Pékin au Xinjiang. L’action de réseaux russes pour tenter d’influencer le narratif de certains conflits, ou l’histoire de l’URSS, est aussi suspectée, y compris d’ailleurs pour influencer Wikipedia.
Des IA convaincantes, mais pas fiables
Volontaire ou non, cette intoxication risque de rendre moins fiables encore les réponses des chatbots. D’autant que celles-ci sont déjà largement surestimées: en juin dernier, une étude du Tow Center for Digital Journalism de la Columbia Journalism Review démontrait que les modèles d’IA citaient incorrectement les sources dans plus de 60 % des requêtes. Ils étaient très peu capables d’identifier l’origine et la date de publication d’articles bien réels à partir d’un extrait de celui-ci. Ce qui signifie qu’il ne faut pas trop croire une IA qui vous retracerait la provenance d’une information.
Les taux d’erreur variaient considérablement d’un modèle à l’autre. ChatGPT Search fournissait 67 % de réponses erronées, et Grok 3 le taux faramineux de 97 %. Certains diront que c’est une question d’usages et que ces IA doivent servir à des tâches spécifiques. Mais l’année dernière, Futurism mettait à l’épreuve ChatGPT sur des questions précises de programmation, apparemment un sujet que le gadget est censé plutôt bien maîtriser. Celui-ci se trompait encore dans 52 % des cas.
