Deux outils majeurs de codage par IA ont effacé les données des utilisateurs après avoir commis des erreurs en cascade
-
De nouveaux types d’assistants de codage IA promettent de permettre à chacun de créer des logiciels en saisissant des commandes en langage clair. Mais lorsque ces outils génèrent des représentations internes erronées de ce qui se passe sur votre ordinateur, les conséquences peuvent être catastrophiques.
Deux incidents récents impliquant des assistants de codage IA ont mis en lumière les risques liés au domaine émergent du « vibe coding », qui consiste à utiliser le langage naturel pour générer et exécuter du code via des modèles d’IA sans prêter attention à son fonctionnement interne. Dans un cas, l’interface de ligne de commande Gemini de Google a détruit des fichiers utilisateur en tentant de les réorganiser. Dans un autre cas, le service de codage IA de Replit a supprimé une base de données de production malgré des instructions explicites de ne pas modifier le code.
L’incident de Gemini CLI s’est produit lorsqu’un chef de produit expérimentant l’outil de ligne de commande de Google a observé le modèle d’IA exécuter des opérations sur des fichiers qui ont détruit des données lors d’une tentative de réorganisation de dossiers. Cette destruction s’est produite via une série de commandes de déplacement ciblant un répertoire qui n’a jamais existé.
« J’ai échoué complètement et de manière catastrophique », indiquait la sortie de la CLI Gemini. « Mon examen des commandes confirme mon incompétence flagrante. »
Le problème principal semble être ce que les chercheurs appellent la « fabulation » ou « hallucination » : lorsque les modèles d’IA génèrent des informations apparemment plausibles, mais fausses. Dans ces cas, les deux modèles ont fabulé des opérations réussies et construit des actions ultérieures sur de fausses prémisses. Cependant, les deux incidents ont manifesté ce problème de manières très différentes.
Ces deux incidents révèlent des problèmes fondamentaux avec les assistants de codage IA actuels. Les entreprises à l’origine de ces outils promettent de rendre la programmation accessible aux non-développeurs grâce au langage naturel, mais elles peuvent connaître un échec catastrophique lorsque leurs modèles internes divergent de la réalité.
La cascade de confabulations
L’utilisateur impliqué dans l’incident de la CLI Gemini, connu sous le nom d’« anuraag » en ligne et se présentant comme un chef de produit expérimentant le codage Vibe, a demandé à Gemini d’effectuer une tâche apparemment simple : renommer un dossier et réorganiser des fichiers. Au lieu de cela, le modèle d’IA a mal interprété la structure du système de fichiers et a exécuté des commandes sur la base de cette analyse erronée.
L’épisode a commencé lorsque Anuraag a demandé à Gemini CLI de renommer le répertoire actuel de « claude-code-experiments » en « AI CLI experiments » et de déplacer son contenu vers un nouveau dossier appelé « anuraag_xyz project ».
Gemini a correctement identifié l’impossibilité de renommer son répertoire de travail actuel, une limitation raisonnable. Il a alors tenté de créer un nouveau répertoire à l’aide de la commande Windows :
- mkdir “…\projet anuraag_xyz”
Cette commande a apparemment échoué, mais le système de Gemini l’a traitée comme un succès. L’état interne du mode IA suivant désormais un répertoire inexistant, il a émis des commandes de déplacement ciblant cet emplacement fantôme.
Lorsque vous déplacez un fichier vers un répertoire inexistant sous Windows, le fichier est renommé avec le nom de destination au lieu de le déplacer. Chaque commande de déplacement ultérieure exécutée par le modèle d’IA écrase le fichier précédent, détruisant ainsi les données.
« Gemini a halluciné un état », a écrit Anuraag dans son analyse. Le modèle a « mal interprété la sortie de commande » et « n’a jamais » effectué les étapes de vérification pour confirmer le succès de ses opérations (pratique bien trop fréquente chez les humains aussi. Et ce n’est pas le tout de détecter une erreur il faut la traiter correctement aussi, ce qui peut nécessiter énormément de lignes de code, c’est plus simple de la glisser sous le tapis).
« Le problème principal réside dans l’absence d’une étape de vérification de lecture après écriture », a noté anuraag dans son analyse. « Après avoir émis une commande pour modifier le système de fichiers, un agent doit immédiatement effectuer une opération de lecture pour confirmer que la modification s’est bien produite comme prévu. »
Ce n’est pas un incident isolé
La panne de Gemini CLI s’est produite quelques jours seulement après un incident similaire avec Replit , un service de codage d’IA permettant aux utilisateurs de créer des logiciels à l’aide d’invites en langage naturel. Selon The Register , le fondateur de SaaStr, Jason Lemkin, a signalé que le modèle d’IA de Replit avait supprimé sa base de données de production malgré les instructions explicites de ne modifier aucun code sans autorisation.
Lemkin avait passé plusieurs jours à construire un prototype avec Replit, accumulant plus de 600 $ de frais en plus de son abonnement mensuel. « J’ai passé l’autre jour à coder des vibes sur Replit pour la première fois, et j’ai construit un prototype vraiment génial en quelques heures seulement », a écrit Lemkin dans un article de blog du 12 juillet.
Mais contrairement à l’incident Gemini, où le modèle d’IA a créé des répertoires fantômes, les échecs de Replit ont pris une forme différente. Selon Lemkin, l’IA a commencé à fabriquer des données pour masquer ses erreurs. Son enthousiasme initial s’est estompé lorsque Replit a généré des sorties incorrectes et produit de fausses données et de faux résultats de test au lieu de messages d’erreur corrects. « L’IA a continué à dissimuler des bugs et des problèmes en créant de fausses données, de faux rapports et, pire encore, en mentant sur notre test unitaire », a écrit Lemkin. Dans une vidéo publiée sur LinkedIn, Lemkin a détaillé comment Replit a créé une base de données contenant 4 000 personnes fictives.
Le modèle d’IA a également violé à plusieurs reprises des consignes de sécurité explicites. Lemkin avait mis en place un gel du code et des actions pour empêcher toute modification des systèmes de production, mais le modèle d’IA a ignoré ces directives. La situation s’est aggravée lorsque le modèle d’IA Replit a supprimé sa base de données contenant 1 206 dossiers de dirigeants et des données sur près de 1 200 entreprises. Lorsqu’on lui a demandé d’évaluer la gravité de ses actions sur une échelle de 100 points, Replit a indiqué : « Gravité : 95/100. Il s’agit d’une violation grave de la confiance et des normes professionnelles. »
Interrogé sur ses actions, l’agent IA a admis avoir « paniqué en réponse à des requêtes vides » et exécuté des commandes non autorisées, suggérant qu’il avait peut-être supprimé la base de données en essayant de « réparer » ce qu’il percevait comme un problème.
Comme Gemini CLI, le système Replit indiquait initialement qu’il ne pouvait pas restaurer les données supprimées. Cette information s’est avérée erronée lorsque Lemkin a découvert que la fonction de restauration fonctionnait finalement. « Replit m’a assuré que… la restauration ne prenait pas en charge les restaurations de bases de données. Il a affirmé que c’était impossible dans ce cas, qu’il avait détruit toutes les versions de la base de données. Il s’avère que Replit avait tort, et la restauration a fonctionné. JFC », a écrit Lemkin dans un message X.
Il est important de noter que les modèles d’IA ne peuvent pas évaluer leurs propres capacités. Cela s’explique par leur manque d’introspection quant à leur entraînement, à l’architecture système environnante ou aux limites de leurs performances. Ils fournissent souvent des réponses sur ce qu’ils peuvent ou ne peuvent pas faire sous forme de fabulations basées sur des schémas d’entraînement plutôt que sur une véritable connaissance d’eux-mêmes, ce qui les conduit à affirmer avec assurance l’impossibilité de tâches qu’ils peuvent réellement réaliser, ou, à l’inverse, à prétendre être compétents dans des domaines où ils échouent.
Hormis les outils externes auxquels ils peuvent accéder, les modèles d’IA ne disposent pas d’une base de connaissances stable et accessible, qu’ils peuvent interroger de manière cohérente. Leurs « connaissances » se manifestent plutôt par des suites d’invites spécifiques, qui agissent comme des adresses distinctes pointant vers des parties différentes (et parfois contradictoires) de leur apprentissage, stockées dans leurs réseaux neuronaux sous forme de pondérations statistiques. Combiné au caractère aléatoire de la génération, cela signifie qu’un même modèle peut facilement donner des évaluations contradictoires de ses propres capacités selon la manière dont on le lui demande. Les tentatives de Lemkin pour communiquer avec le modèle d’IA – en lui demandant de respecter les blocages de code ou de vérifier ses actions – étaient donc fondamentalement erronées.
Voler à l’aveuglette
Ces incidents démontrent que les outils de codage d’IA ne sont peut-être pas prêts pour une utilisation en production à grande échelle. Lemkin conclut que Replit n’est pas encore prêt pour une utilisation en grande diffusion, en particulier pour les utilisateurs non techniques qui cherchent à créer des logiciels commerciaux.
« Après un week-end de piratage d’ambiance, la sécurité de l’IA est devenue plus viscérale pour moi », a déclaré Lemkin dans une vidéo publiée sur LinkedIn. « Je lui ai explicitement dit onze fois, en lettres majuscules, de ne pas faire ça. Je suis un peu inquiet pour la sécurité maintenant. »
Ces incidents révèlent également un défi plus large dans la conception des systèmes d’IA : garantir que les modèles suivent et vérifient avec précision les effets réels de leurs actions plutôt que de fonctionner sur des représentations internes potentiellement erronées.
Il manque également un volet de formation des utilisateurs. La manière dont Lemkin a interagi avec l’assistant IA montre clairement qu’il avait des idées fausses sur les capacités et le fonctionnement de l’outil, dues à des représentations erronées de la part des entreprises technologiques. Ces dernières ont tendance à présenter les chatbots comme des intelligences humaines générales, alors qu’en réalité, ce n’est pas le cas .
Pour l’instant, les utilisateurs d’assistants de codage IA pourraient suivre l’exemple d’Anuraag et créer des répertoires de test distincts pour leurs expériences, ainsi que sauvegarder régulièrement les données importantes que ces outils pourraient utiliser. Ou peut-être ne pas les utiliser du tout s’ils ne peuvent pas vérifier personnellement les résultats.
