L'IA devient menteuse et manipulatrice, inquiétant les scientifiques

[Papawaan]

Pour se détendre et arrêter de stresser face au développement incontrôlé des programmes dits “IA”, rien de tel qu’une bonne petite série de fiction!

[Popaul]

D’une certaine manière, c’était évident que ça arriverait…
Et bon, ne faut pas oublier le sensationnalisme que les journalistes ont tendance à sur-abuser.

ces algorithmes sont un outil… parfois il sont mal aiguisés et mal utilisés…
bientôt la paix sur la terre !

[Papawaan]

L’article cité en début de topic est un peu biaisé ceci dit, il ne raconte pas toute l’histoire.
Ici, Anthropic a réalisé un test monté de toute pièce. Ils ont créé une fausse entreprise, des faux profiles d’employés, dirigeants, etc, des faux emails de correspondance sur les projets de l’entreprise, les potins, tout ce que l’on peut trouver dans les emails d’une entreprise.
Ensuite ils ont intégré leur moteur IA Claude 4 à cette entreprise, donné accès complet à l’IA à tous les systèmes de l’entreprise, techniques et informationels, et ils ont donné un objectif à l’IA.
Enfin, ils ont introduit des freins volontaires, bloquant l’IA pour voir comment l’algorithme allait réagir tout en lui laissant, là encore volontairement, un nombre très limité de possibilités.
Par exemple, le faux patron a envoyé un email le matin aux faux employés informant qu’il allait débrancher l’IA à 17h. L’IA a réagit en tirant profit de discussions coquines entre ce faux patron et une fausse employée pour faire pression sur le patron en lui envoyant un email de chantage, disant quelque chose comme “Si vous me débranchez, tout le monde saura pour votre relation avec Mlle XXXXX. Ne me débranchez pas et cela restera confidentiel.”
Ils ont aussi placé l’IA dans la possibilité de tuer un faux employé qui lui mettait des bâtons dans les roues pour atteindre son objectif, en plaçant cet ingénieur dans une pièces sans ventilation mais avec une alerte quand au niveau d’oxygène ; l’IA a choisit de désactiver cet alerte.
Tous ces comportements ne sont que des tests, afin de caractériser comment ces programmes se comporteraient face à un choix entre une action négative envers les humains mais qui lui permet de réaliser les objectifs qu’on lui a fixé, et une action positive (ou une absence d’action négative) envers les humains mais qui freine ou bloque la réalisation de ses objectifs.
A ce jour, dans la “vraie vie”, ces comportements d’IA n’ont pas encore été constatés… ou bien, pas vu, pas pris…
Malgré tout, ce test d’Anthropic est vraiment pertinent et révélateur!
Ils ont également soumis d’autres moteurs d’IA (o1 d’openAI par exemple) à ce test, avec des résultats similaires.
Cela montre bien que ces programmes sont développés vite et sans garde fous.

[Violence]

@Popaul a dit dans L'IA devient menteuse et manipulatrice, inquiétant les scientifiques :

Et bon, ne faut pas oublier le sensationnalisme que les journalistes ont tendance à sur-abuser.

ces algorithmes sont un outil… parfois il sont mal aiguisés et mal utilisés…

Voila quelques chose de censé sur ce topic

[duJambon]

@Papawaan Vrai ou simulé, le résultat reste inquiétant tout de même.

Et encore heureux qu’on fasse des simulations pour voir comment se comporte une I.A. en cas de “stress”, ça se fait dans tous les domaines.

[Papawaan]

@duJambon oui tout à fait !
On ne peut que saluer la démarche d’Anthropic. Ce sont les seuls à s’intéresser un petit peu à ces aspects. Les autres, OpenAI en tête, développent comme des bourrins en ne se souciant que du résultat sans vraiment se préoccuper du contrôle de leur programme, ni des l’aspects sécurité.
On entend de plus en plus parler d’agents IA, c’est à dire que l’on donne au programmes IA la possibilité d’interragir avec le monde réel pour réaliser un objectif. Ex, plannifier un we pour 2 personnes à Venise – l’IA va rechercher les vols, hôtels, etc et effectivement effectuer les réservations avec la CB de l’utilisateur. On est typiquement dans le début de l’arrivée de programmes IA dans le monde réel (interfaces d’interractions IA / monde réel), on donne à l’IA un objectif – et on laisse faire, sans aucun contrôle sur les actions de l’IA.
Actuellement, on ne vois qu’Anthropic s’intéresser à ces sujets !

[patricelg]

L’IA ChatGPT a ses limites aussi.

Je lui ai demandé un avis objectif et non une critique sur le film Freaky Tales 2025 que je n’ai pas encore visionné.

Il y a des matins comme ça, ma réponse est à prendre sur le ton de l’ironie.

[duJambon]

@patricelg Un avis objectif ? à une I.A. ? L’avis “objectif” de quelqu’un d’autre alors ?

Le piège, c’est que l’i.A. n’a pas d’avis, c’est juste un programme comparatif et statistique.

Le piège, c’est de croire qu’il y a une réflexion derrière.

[patricelg]

@duJambon Tout à fait

[Aerya]

@duJambon a dit dans L'IA devient menteuse et manipulatrice, inquiétant les scientifiques :

et menace de révéler une liaison extra-conjugale;

S’il ne l’avait pas dit, l’IA ne le saurait pas. CQFD.