Le service a utilisé des API non documentées et d’autres astuces pour contourner les garde-corps de sécurité.
Microsoft accuse trois individus d’avoir mené un programme de « piratage en tant que service » conçu pour permettre la création de contenus nuisibles et illicites à l’aide de la plate-forme de l’entreprise pour les contenus générés par l’IA.
Les accusés basés à l’étranger ont développé des outils spécialement conçus pour contourner les garde-fous de sécurité érigés par Microsoft pour empêcher la création de contenus préjudiciables via ses services d’IA générative, a déclaré Steven Masada, avocat général adjoint de l’unité des crimes numériques de Microsoft. Ils ont ensuite compromis les comptes légitimes des clients payants. Ils ont combiné ces deux éléments pour créer une plateforme payante que les gens pourraient utiliser.
Un schéma sophistiqué
Microsoft poursuit également sept personnes qui, selon elle, étaient des clients du service. Les 10 accusés s’appellent John Doe car Microsoft ne connaît pas leur identité.
“Par cette action, Microsoft cherche à perturber un stratagème sophistiqué mis en œuvre par des cybercriminels qui ont développé des outils spécialement conçus pour contourner les garde-fous des services d’IA générative fournis par Microsoft et d’autres”, ont écrit les avocats dans une plainte déposée devant un tribunal fédéral de l’Est. District de Virginie et descellé vendredi.
Les trois personnes qui géraient le service auraient compromis les comptes de clients légitimes de Microsoft et auraient vendu l’accès à ces comptes via un site désormais fermé à l’adresse « rentry[.]org/de3u. Le service, qui a fonctionné de juillet à septembre dernier lorsque Microsoft a pris des mesures pour le fermer, comprenait « des instructions détaillées sur la façon d’utiliser ces outils personnalisés pour générer du contenu nuisible et illicite ».
Le service contenait un serveur proxy qui relayait le trafic entre ses clients et les serveurs fournissant les services d’IA de Microsoft, selon la poursuite. Entre autres choses, le service proxy utilisait des interfaces de programmation d’applications (API) réseau Microsoft non documentées pour communiquer avec les ordinateurs Azure de l’entreprise. Les requêtes résultantes ont été conçues pour imiter les requêtes API légitimes du service Azure OpenAPI et ont utilisé des clés API compromises pour les authentifier.
Les avocats de Microsoft ont inclus les images suivantes, la première illustrant l’infrastructure réseau et la seconde affichant l’interface utilisateur fournie aux utilisateurs du service des défendeurs :
fa0dce74-8814-49bc-a971-b618170cdc45-image.png
cfcaf97e-6473-4770-8c96-835552f4068f-image.png
Microsoft n’a pas précisé comment les comptes clients légitimes avaient été compromis, mais a déclaré que des pirates informatiques étaient connus pour créer des outils permettant de rechercher des référentiels de code pour les développeurs de clés API incluses par inadvertance dans les applications qu’ils créent. Microsoft et d’autres conseillent depuis longtemps aux développeurs de supprimer les informations d’identification et autres données sensibles du code qu’ils publient, mais cette pratique est régulièrement ignorée . L’entreprise a également évoqué la possibilité que les informations d’identification aient été volées par des personnes ayant obtenu un accès non autorisé aux réseaux sur lesquels elles étaient stockées.
Microsoft et d’autres interdisent d’utiliser leurs systèmes d’IA générative pour créer divers contenus. Le contenu interdit comprend les éléments qui présentent ou promeuvent l’exploitation ou les abus sexuels, sont érotiques ou pornographiques, ou attaquent, dénigrent ou excluent des personnes en fonction de leur race, origine ethnique, origine nationale, sexe, identité de genre, orientation sexuelle, religion, âge, statut de handicap ou caractéristiques similaires. Il n’autorise pas non plus la création de contenu contenant des menaces, des intimidations, la promotion de violences physiques ou d’autres comportements abusifs.
En plus d’interdire expressément une telle utilisation de sa plate-forme, Microsoft a également développé des garde-fous qui inspectent à la fois les invites saisies par les utilisateurs et le résultat qui en résulte pour détecter les signes que le contenu demandé viole l’une de ces conditions. Ces restrictions basées sur le code ont été contournées à plusieurs reprises ces dernières années grâce à des piratages, certains inoffensifs et réalisés par des chercheurs et d’autres par des acteurs malveillants.
Microsoft n’a pas expliqué précisément comment le logiciel des accusés aurait été conçu pour contourner les garde-fous créés par l’entreprise.
Les services d’IA de Microsoft déploient des mesures de sécurité strictes, notamment des mesures d’atténuation de sécurité intégrées au niveau du modèle, de la plate-forme et des applications d’IA. Comme le prétendent nos documents judiciaires dévoilés aujourd’hui, Microsoft a observé un groupe d’acteurs menaçants basé à l’étranger développer des logiciels sophistiqués qui exploitaient les informations d’identification de clients exposées extraites de sites Web publics. Ce faisant, ils ont cherché à identifier et à accéder illégalement à des comptes dotés de certains services d’IA générative et à modifier délibérément les capacités de ces services. Les cybercriminels ont ensuite utilisé ces services et revendu l’accès à d’autres acteurs malveillants avec des instructions détaillées sur la façon d’utiliser ces outils personnalisés pour générer du contenu nuisible et illicite. Dès sa découverte, Microsoft a révoqué l’accès des cybercriminels, mis en place des contre-mesures et amélioré ses protections pour bloquer davantage de telles activités malveillantes à l’avenir.
Le procès allègue que le service des accusés a violé le Computer Fraud and Abuse Act, le Digital Millennium Copyright Act, le Lanham Act et le Racketeer Influenced and Corrupt Organizations Act et constitue une fraude électronique, une fraude aux appareils d’accès, une intrusion de droit commun et une ingérence délictuelle. La plainte vise une injonction interdisant aux défendeurs de se livrer à « toute activité dans le cadre des présentes ».
Source: https://arstechnica.com/security/2025/01/microsoft-sues-service-for-creating-illicit-content-with-its-ai-platform/
