L'IA devient menteuse et manipulatrice, inquiétant les scientifiques
-
Terminator n est plus trés loin , faudrait voir ça avec Sarah Connor ya peut-être un truc à faire
-
L’IA est un monstre Frankestein crée par l’humain au miroir de ce qu’il est, devenu sans contrôle ni gouvernance éthique. Nous nous en rendrons compte dans quelques proches années mais il sera trop tard (idem pour le dérèglement climatique).
-
Presque tous les investisseurs millionnaires et milliardaires se ruent dessus comme des crèves la dalle (c’est l’avenir à ce qu’il se dit…moi je vois plutôt un merdier de + dans ce monde merdique rempli de comploplo à la con, de haineux, trolls, révisionnistes, négationnistes, va t’en guerre etc etc).
-
@Psyckofox Les IA construiront des usines pour construire des armes (et des robots) que nous n’avons pas demandé pour une guerre que nous ne pourrons gagner!!! Si nos scientifiques en peau de trou ce balle etaient moins malades psychiatriquement, ils auraient compris le danger mortel d’avoir cree une intelligence articifielle!!! Desormais c’est trop tard… Nous avons deja preventiovement gaché toute chance de vaincre ces machines.
-
Pour se détendre et arrêter de stresser face au développement incontrôlé des programmes dits “IA”, rien de tel qu’une bonne petite série de fiction!
-
D’une certaine manière, c’était évident que ça arriverait…
Et bon, ne faut pas oublier le sensationnalisme que les journalistes ont tendance à sur-abuser.ces algorithmes sont un outil… parfois il sont mal aiguisés et mal utilisés…
bientôt la paix sur la terre !
-
L’article cité en début de topic est un peu biaisé ceci dit, il ne raconte pas toute l’histoire.
Ici, Anthropic a réalisé un test monté de toute pièce. Ils ont créé une fausse entreprise, des faux profiles d’employés, dirigeants, etc, des faux emails de correspondance sur les projets de l’entreprise, les potins, tout ce que l’on peut trouver dans les emails d’une entreprise.
Ensuite ils ont intégré leur moteur IA Claude 4 à cette entreprise, donné accès complet à l’IA à tous les systèmes de l’entreprise, techniques et informationels, et ils ont donné un objectif à l’IA.
Enfin, ils ont introduit des freins volontaires, bloquant l’IA pour voir comment l’algorithme allait réagir tout en lui laissant, là encore volontairement, un nombre très limité de possibilités.
Par exemple, le faux patron a envoyé un email le matin aux faux employés informant qu’il allait débrancher l’IA à 17h. L’IA a réagit en tirant profit de discussions coquines entre ce faux patron et une fausse employée pour faire pression sur le patron en lui envoyant un email de chantage, disant quelque chose comme “Si vous me débranchez, tout le monde saura pour votre relation avec Mlle XXXXX. Ne me débranchez pas et cela restera confidentiel.”
Ils ont aussi placé l’IA dans la possibilité de tuer un faux employé qui lui mettait des bâtons dans les roues pour atteindre son objectif, en plaçant cet ingénieur dans une pièces sans ventilation mais avec une alerte quand au niveau d’oxygène ; l’IA a choisit de désactiver cet alerte.
Tous ces comportements ne sont que des tests, afin de caractériser comment ces programmes se comporteraient face à un choix entre une action négative envers les humains mais qui lui permet de réaliser les objectifs qu’on lui a fixé, et une action positive (ou une absence d’action négative) envers les humains mais qui freine ou bloque la réalisation de ses objectifs.
A ce jour, dans la “vraie vie”, ces comportements d’IA n’ont pas encore été constatés… ou bien, pas vu, pas pris…
Malgré tout, ce test d’Anthropic est vraiment pertinent et révélateur!
Ils ont également soumis d’autres moteurs d’IA (o1 d’openAI par exemple) à ce test, avec des résultats similaires.
Cela montre bien que ces programmes sont développés vite et sans garde fous. -
@Popaul a dit dans L'IA devient menteuse et manipulatrice, inquiétant les scientifiques :
Et bon, ne faut pas oublier le sensationnalisme que les journalistes ont tendance à sur-abuser.
ces algorithmes sont un outil… parfois il sont mal aiguisés et mal utilisés…
Voila quelques chose de censé sur ce topic
-
@Papawaan Vrai ou simulé, le résultat reste inquiétant tout de même.
Et encore heureux qu’on fasse des simulations pour voir comment se comporte une I.A. en cas de “stress”, ça se fait dans tous les domaines.
-
@duJambon oui tout à fait !
On ne peut que saluer la démarche d’Anthropic. Ce sont les seuls à s’intéresser un petit peu à ces aspects. Les autres, OpenAI en tête, développent comme des bourrins en ne se souciant que du résultat sans vraiment se préoccuper du contrôle de leur programme, ni des l’aspects sécurité.
On entend de plus en plus parler d’agents IA, c’est à dire que l’on donne au programmes IA la possibilité d’interragir avec le monde réel pour réaliser un objectif. Ex, plannifier un we pour 2 personnes à Venise – l’IA va rechercher les vols, hôtels, etc et effectivement effectuer les réservations avec la CB de l’utilisateur. On est typiquement dans le début de l’arrivée de programmes IA dans le monde réel (interfaces d’interractions IA / monde réel), on donne à l’IA un objectif – et on laisse faire, sans aucun contrôle sur les actions de l’IA.
Actuellement, on ne vois qu’Anthropic s’intéresser à ces sujets !
