Planète Warez

Perso je ne suis pas vraiment intéressé par le festival itinérant des bio-technologies appliquées.
Chacun son truc…

et de la menuiserie !

Ahhh, il est fort !!

Régis a fait de la plomberie:

Pour ceux qui n’auraient pas vu l’excellente série Person of Interest, on y trouve un clin d’oeil à John Draper.
En tout cas +1: très sympa article !

@duJambon oui tout à fait !
On ne peut que saluer la démarche d’Anthropic. Ce sont les seuls à s’intéresser un petit peu à ces aspects. Les autres, OpenAI en tête, développent comme des bourrins en ne se souciant que du résultat sans vraiment se préoccuper du contrôle de leur programme, ni des l’aspects sécurité.
On entend de plus en plus parler d’agents IA, c’est à dire que l’on donne au programmes IA la possibilité d’interragir avec le monde réel pour réaliser un objectif. Ex, plannifier un we pour 2 personnes à Venise – l’IA va rechercher les vols, hôtels, etc et effectivement effectuer les réservations avec la CB de l’utilisateur. On est typiquement dans le début de l’arrivée de programmes IA dans le monde réel (interfaces d’interractions IA / monde réel), on donne à l’IA un objectif – et on laisse faire, sans aucun contrôle sur les actions de l’IA.
Actuellement, on ne vois qu’Anthropic s’intéresser à ces sujets !

L’article cité en début de topic est un peu biaisé ceci dit, il ne raconte pas toute l’histoire.
Ici, Anthropic a réalisé un test monté de toute pièce. Ils ont créé une fausse entreprise, des faux profiles d’employés, dirigeants, etc, des faux emails de correspondance sur les projets de l’entreprise, les potins, tout ce que l’on peut trouver dans les emails d’une entreprise.
Ensuite ils ont intégré leur moteur IA Claude 4 à cette entreprise, donné accès complet à l’IA à tous les systèmes de l’entreprise, techniques et informationels, et ils ont donné un objectif à l’IA.
Enfin, ils ont introduit des freins volontaires, bloquant l’IA pour voir comment l’algorithme allait réagir tout en lui laissant, là encore volontairement, un nombre très limité de possibilités.
Par exemple, le faux patron a envoyé un email le matin aux faux employés informant qu’il allait débrancher l’IA à 17h. L’IA a réagit en tirant profit de discussions coquines entre ce faux patron et une fausse employée pour faire pression sur le patron en lui envoyant un email de chantage, disant quelque chose comme “Si vous me débranchez, tout le monde saura pour votre relation avec Mlle XXXXX. Ne me débranchez pas et cela restera confidentiel.”
Ils ont aussi placé l’IA dans la possibilité de tuer un faux employé qui lui mettait des bâtons dans les roues pour atteindre son objectif, en plaçant cet ingénieur dans une pièces sans ventilation mais avec une alerte quand au niveau d’oxygène ; l’IA a choisit de désactiver cet alerte.
Tous ces comportements ne sont que des tests, afin de caractériser comment ces programmes se comporteraient face à un choix entre une action négative envers les humains mais qui lui permet de réaliser les objectifs qu’on lui a fixé, et une action positive (ou une absence d’action négative) envers les humains mais qui freine ou bloque la réalisation de ses objectifs.
A ce jour, dans la “vraie vie”, ces comportements d’IA n’ont pas encore été constatés… ou bien, pas vu, pas pris…
Malgré tout, ce test d’Anthropic est vraiment pertinent et révélateur!
Ils ont également soumis d’autres moteurs d’IA (o1 d’openAI par exemple) à ce test, avec des résultats similaires.
Cela montre bien que ces programmes sont développés vite et sans garde fous.

Pour se détendre et arrêter de stresser face au développement incontrôlé des programmes dits “IA”, rien de tel qu’une bonne petite série de fiction!

Hello @free666, bienvenue sur le forum

Hello @fhorse, bienvenue sur le forum

Nan, c’est moi Batman: