Les flics attirent les pédophiles avec des photos IA d'une adolescente. Triomphe éthique ou nouveau désastre ?
-
Le Nouveau-Mexique a poursuivi Snapchat après avoir utilisé l’IA pour révéler les risques pour la sécurité des enfants.
Les flics utilisent désormais l’IA pour générer des images de faux enfants, ce qui les aide à attraper des prédateurs d’enfants en ligne, a révélé cette semaine une poursuite intentée par l’État du Nouveau-Mexique contre Snapchat.
Selon la plainte, le ministère de la Justice du Nouveau-Mexique a lancé une enquête secrète ces derniers mois pour prouver que Snapchat « est une plateforme de médias sociaux principale pour le partage de matériel pédopornographique (CSAM) » et la sextorsion de mineurs, parce que son « algorithme sert à des enfants aux prédateurs adultes.
Dans le cadre de leur enquête, un enquêteur “a créé un compte leurre pour une jeune fille de 14 ans, Sexy14Heather”.
Bien que Snapchat ait défini le profil du faux mineur comme privé et que le compte n’ajoute aucun abonné, “Heather” a rapidement été largement recommandée sur “des comptes dangereux, y compris ceux nommés ‘child.rape’ et ‘pedo_lover10’, en plus d’autres qui sont encore plus dangereux. explicite”, a déclaré le DOJ du Nouveau-Mexique dans un communiqué de presse .
Et après que « Heather » ait accepté une demande de suivi d’un seul compte, les recommandations sont devenues encore pires. “Snapchat a suggéré plus de 91 utilisateurs, dont de nombreux utilisateurs adultes dont les comptes incluaient ou cherchaient à échanger du contenu sexuellement explicite”, affirme la plainte du Nouveau-Mexique.
“Snapchat est un terrain fertile pour les prédateurs qui collectent des images sexuellement explicites d’enfants et les trouvent, les soignent et les extorquent”, affirme la plainte du Nouveau-Mexique.
Se faisant passer pour “Sexy14Heather”, l’enquêteur a échangé des messages avec des comptes adultes, y compris des utilisateurs qui “envoyaient des messages inappropriés et des photos explicites”. Lors d’un échange avec un utilisateur nommé “50+ SNGL DAD 4 YNGR”, la fausse adolescente “a noté son âge, a envoyé une photo et s’est plainte du fait que ses parents l’obligeaient à aller à l’école”, incitant l’utilisateur à envoyer “sa propre photo”. ainsi que des discussions à caractère sexuel. D’autres comptes ont demandé à “Heather” d’“échanger du contenu vraisemblablement explicite”, et plusieurs “ont tenté de contraindre la personne mineure à partager du CSAM”, a déclaré le ministère de la Justice du Nouveau-Mexique.
“Heather” a également testé l’outil de recherche de Snapchat, constatant que “même si elle n’a utilisé aucun langage sexuellement explicite, l’algorithme a dû déterminer qu’elle recherchait du CSAM” lorsqu’elle a recherché d’autres utilisateurs adolescents. Il “a commencé à recommander des utilisateurs associés au trading” CSAM, y compris des comptes avec des noms d’utilisateur tels que “naughtypics”, “addfortrading”, “teentr3de”, “gayhorny13yox” et “teentradevirgin”, selon l’enquête, “suggérant que ces comptes étaient également impliqués”. dans la diffusion du CSAM."
Cette nouvelle utilisation de l’IA a été motivée après que la police d’Albuquerque a inculpé un homme, Alejandro Marquez, qui a plaidé coupable et a été condamné à 18 ans de prison pour avoir violé une fille de 11 ans qu’il avait rencontrée via la fonction Quick Add de Snapchat en 2022, indique la plainte du Nouveau-Mexique. Plus récemment, selon la plainte du Nouveau-Mexique, un homme d’Albuquerque, Jeremy Guthrie, a été arrêté et condamné cet été pour « avoir violé une fille de 12 ans qu’il avait rencontrée et cultivée sur Snapchat ».
Dans le passé, la police se faisait passer pour des enfants en ligne pour attraper des prédateurs d’enfants en utilisant des photos de femmes adultes d’apparence plus jeune ou même des photos de policiers plus jeunes. L’utilisation d’images générées par l’IA pourrait être considérée comme un moyen plus éthique de mener ces opérations, a déclaré à Ars une avocate spécialisée dans les crimes sexuels, Carrie Goldberg, car “un profil leurre d’IA est moins problématique que l’utilisation d’images d’un véritable enfant”.
Mais l’utilisation de l’IA pourrait compliquer les enquêtes et entraîner ses propres préoccupations éthiques, a prévenu Goldberg, alors que les experts en sécurité des enfants et les forces de l’ordre préviennent qu’Internet est de plus en plus inondé de CSAM générés par l’IA .
“En ce qui concerne l’utilisation de l’IA à des fins de piégeage, les accusés peuvent se défendre s’ils affirment que le gouvernement les a incités à commettre un crime qu’ils n’étaient pas déjà prédisposés à commettre”, a déclaré Goldberg à Ars. “Bien sûr, il serait éthiquement préoccupant que le gouvernement crée du matériel d’abus sexuel sur des enfants (CSAM) profondément falsifié, car ces images sont illégales et nous ne voulons pas que davantage de CSAM circulent.”
Les experts ont averti que les générateurs d’images d’IA ne devraient jamais être formés sur des ensembles de données combinant des images d’enfants réels avec du contenu explicite afin d’éviter tout cas de CSAM généré par l’IA, qui est particulièrement dangereux lorsqu’il semble représenter un vrai enfant ou une véritable victime d’un enfant. abus.
Dans la plainte du Nouveau-Mexique, une seule image générée par l’IA est incluse. Il est donc difficile de savoir dans quelle mesure le DOJ de l’État utilise l’IA ou si les flics utilisent éventuellement des méthodes plus avancées pour générer plusieurs images du même faux enfant. On ne sait pas non plus quelles préoccupations éthiques ont été prises en compte avant que les flics ne commencent à utiliser des leurres IA.
Le DOJ du Nouveau-Mexique n’a pas répondu à la demande de commentaires d’Ars.
Goldberg a déclaré à Ars qu '«il devrait y avoir des normes au sein des forces de l’ordre sur la manière d’utiliser l’IA de manière responsable», avertissant que «nous verrons probablement davantage de défenses contre le piégeage centrées sur l’IA si le gouvernement utilise la technologie de manière manipulatrice pour faire pression sur quelqu’un.» commettre un crime. »
Snap pourrait-il être tenu responsable d’avoir associé des enfants à des prédateurs ?
Dans un communiqué de presse , le procureur général du Nouveau-Mexique, Raúl Torrez, a déclaré que la poursuite intentée par l’État contre Snapchat avait été déposée « pour protéger les enfants contre la sextorsion, l’exploitation sexuelle et les préjudices ».
La vaste plainte est largement expurgée, mais dresse un tableau de Snapchat comme une plate-forme qui ciblerait les enfants, puis les rendrait dépendants avec des fonctionnalités amusantes tout en les connectant à des prédateurs sexuels et en les bombardant de contenus préjudiciables nuisant à la santé mentale des enfants à travers l’État.
Alléguant que Snapchat néglige délibérément les préjudices causés aux enfants tout en annonçant sa plate-forme comme étant sûre, l’État du Nouveau-Mexique affirme que le propriétaire de Snapchat, Snap, a violé la loi sur les pratiques déloyales de l’État et doit être interdit en tant que nuisance publique. Goldberg a déclaré à Ars que le cas de l’État se démarque car, alors que les individus peuvent intenter des poursuites pour des produits défectueux, seul l’État peut faire ces réclamations plus larges au nom du public.
L’enquête du ministère de la Justice du Nouveau-Mexique a révélé que Snapchat était « de loin » la plus grande source de photos et de vidéos non consensuelles pour les marchés du dark web. Les enquêteurs de l’État « ont révélé un vaste réseau de sites Web sombres dédiés au partage d’images sexuelles volées et non consensuelles de Snap, trouvant plus de 10 000 enregistrements liés à Snap et CSAM au cours de la seule année dernière, y compris des informations relatives à des mineurs de moins de 13 ans ayant des relations sexuelles. agressé", indique le communiqué de presse de Torrez.
Goldberg a déclaré que le procès est “le dernier d’une petite série d’affaires contre Snap qui portent sur la fonctionnalité Quick Add de Snap qui correspond sans friction à des inconnus pour la messagerie privée”. Elle a suggéré que Snap pourrait avoir du mal à battre le procès du Nouveau-Mexique après que son entreprise ait fait fermer Omegle pour avoir permis la maltraitance d’enfants en associant au hasard des adultes dans des discussions avec des enfants.
“Nous savons, grâce à notre affaire qui a fermé Omegle pour toujours, que les tribunaux insistent sur le fait que les plateformes en ligne peuvent être tenues responsables de leur rôle dans la mise en relation de prédateurs avec des enfants”, a déclaré Goldberg à Ars.
Dans la plainte, le Nouveau-Mexique s’efforce d’éviter toute interprétation selon laquelle l’article 230 pourrait protéger Snapchat de toute responsabilité pour des préjudices allégués. En se concentrant sur les fonctionnalités de conception de Snapchat, notamment l’ajout rapide et la disparition des messages, ainsi que Snap Maps (qui permettraient prétendument aux prédateurs de trouver des enfants dans le monde réel) et d’autres fonctionnalités, le ministère de la Justice du Nouveau-Mexique a allégué que « la conception et les recommandations algorithmiques de Snapchat favorisent ouvertement et promouvoir le matériel sexuel illicite impliquant des enfants et faciliter la sextorsion et le trafic d’enfants, de drogue et d’armes.
“Notre enquête secrète a révélé que les fonctionnalités de conception nuisibles de Snapchat créent un environnement dans lequel les prédateurs peuvent facilement cibler les enfants par le biais de programmes de sextorsion et d’autres formes d’abus sexuels”, a déclaré Torrez. “Snap a induit les utilisateurs en erreur en leur faisant croire que les photos et vidéos envoyées sur leur plateforme disparaîtraient, mais les prédateurs peuvent capturer ce contenu de manière permanente et ils ont créé un annuaire virtuel d’images pédopornographiques qui sont échangées, vendues et stockées indéfiniment.”
Le Nouveau-Mexique semble confiant que le procès se poursuivra, car l’État a récemment remporté une “victoire significative” dans une affaire axée sur le rôle présumé de Meta “permettant l’exploitation sexuelle des enfants”, a déclaré un communiqué de presse de mai , célébrant le rejet par un juge de “l’argument de Meta”. que l’article 230 accordait à l’entreprise l’immunité contre la faute présumée. Dans le communiqué de presse, Torrez a qualifié la décision du juge de “victoire historique pour les enfants et les parents du Nouveau-Mexique et de tout le pays” et a préfiguré le procès contre Snapchat, avertissant que “toutes les plateformes de médias sociaux qui nuisent à leurs utilisateurs devraient être averties”.
Si Snap est reconnu responsable, il pourrait se voir infliger de lourdes amendes, notamment des sanctions civiles de 5 000 dollars pour chaque violation de la loi sur les pratiques déloyales et potentiellement des millions de dommages-intérêts à déterminer lors du procès.
Sans les prétendues tromperies de Snap selon lesquelles sa plateforme était sûre, la plainte du Nouveau-Mexique indiquait : « Les consommateurs du Nouveau-Mexique n’auraient pas encouru des millions de dollars en dommages, y compris, sans s’y limiter, les coûts de traitement pour un traumatisme mental et émotionnel résultant des actions et/ou du défendeur. l’inaction, les dommages liés au suicide et à l’automutilation infligés par les jeunes et les adolescents au Nouveau-Mexique, et les coûts sociétaux liés à la traite des êtres humains et à la sollicitation/distribution de CSAM.
Le Nouveau-Mexique demande une injonction pour empêcher définitivement Snap de pratiquer des pratiques prétendument nuisibles aux enfants. Cela inclut l’arrêt de la publicité sur Snapchat comme “plus privée” ou “moins permanente” en raison du prétendu “problème de conception principal” et du “danger inhérent” de la disparition des messages de Snap. La plainte de l’État note que le FBI a déclaré que “Snapchat est l’application préférée des criminels parce que ses caractéristiques de conception donnent un faux sentiment de sécurité à la victime, car ses photos disparaîtront et ne seront pas capturées”.
Snapchat répond à la plainte du Nouveau-Mexique
Dans un communiqué , Snap a déclaré qu’il examinait attentivement la plainte du Nouveau-Mexique et qu’il répondrait à ces réclamations devant les tribunaux.
“Nous partageons les préoccupations du procureur général Torrez et du public concernant la sécurité en ligne des jeunes et nous sommes profondément déterminés à ce que Snapchat soit un endroit sûr et positif pour l’ensemble de notre communauté, en particulier pour nos jeunes utilisateurs”, indique le communiqué de Snap.
Selon Snap, la société “a travaillé avec diligence pour trouver, supprimer et signaler les mauvais acteurs, éduquer notre communauté et donner aux adolescents, ainsi qu’aux parents et tuteurs, des outils pour les aider à être en sécurité en ligne”. Parce que « les menaces en ligne continuent d’évoluer », Snap a « investi des centaines de millions de dollars dans nos équipes de confiance et de sécurité au cours des dernières années et a conçu notre service pour promouvoir la sécurité en ligne en modérant le contenu et en permettant la messagerie directe avec les amis proches et la famille. ", a déclaré Snap.
Goldberg a déclaré à Ars que dans les affaires Snapchat qu’elle a plaidées au nom des victimes de maltraitance d’enfants, elle a constaté que Snapchat est “une plate-forme particulièrement insidieuse car elle attire les enfants lorsqu’ils reçoivent un iPhone pour la première fois en raison de filtres idiots” et de fonctionnalités telles que Quick. Ajoutez, Snap Maps, des messages qui disparaissent et My Eyes Only (un moyen crypté de stocker des fichiers).
“Toutes ces caractéristiques combinées créent une tempête parfaite pour associer les enfants à des prédateurs, des pirates informatiques et des maîtres chanteurs qui veulent leurs images explicites, ainsi qu’à des trafiquants de drogue”, a déclaré Goldberg à Ars. “De plus, les parents ne peuvent pas surveiller le contenu que voient leurs enfants. Et ce n’est que récemment qu’ils ont pu même contrôler qui sont les contacts de leurs enfants.”
Snap a déclaré que la société continuera à “travailler en collaboration avec les forces de l’ordre, les experts en sécurité en ligne, les pairs du secteur, les parents, les adolescents, les éducateurs et les décideurs politiques vers notre objectif commun d’assurer la sécurité des jeunes en ligne”.
Mais le Nouveau-Mexique pense apparemment qu’une intervention plus urgente est nécessaire que les engagements volontaires de Snap à faire plus, car les parents auraient du mal à assurer la sécurité de leurs enfants dans un contexte « d’augmentation constante du nombre d’agresseurs sexuels d’enfants utilisant la plateforme », indique le communiqué de presse de Torrez.
“Les parents rapportent que leurs enfants partagent plus de CSAM sur Snapchat que sur toute autre plateforme, les mineurs déclarent avoir plus d’interactions sexuelles en ligne sur Snapchat que sur toute autre plateforme, et plus de victimes de trafic sexuel sont recrutées sur Snapchat que sur toute autre plateforme”, a déclaré le Nouveau-Mexique. » a déclaré le DOJ, expliquant dans sa plainte comment Snapchat ne parvient pas non plus à bloquer le partage de guides de sextorsion. En attendant que les préjudices présumés de Snap puissent être stoppés, l’État a fourni des ressources aux parents cherchant à protéger leurs enfants sur Snapchat.
Goldberg a déclaré que Snapchat est particulièrement “nuisible car il sollicite des utilisateurs mineurs” et “refuse d’accepter toute responsabilité pour les enfants qui sont blessés ou tués sur leur plateforme”. Au lieu d’écouter les commentaires des parents et des enfants, a suggéré Goldberg, Snapchat semble blâmer les parents et les enfants.
“Nous devons juger ces entreprises non seulement sur leurs produits et les risques, mais aussi sur la manière dont elles gèrent les tragédies qui se produisent sur leurs plateformes”, a déclaré Goldberg à Ars. "Et Snap est parmi les pires en termes de rejet de la faute sur les jeunes enfants et leurs parents, même lorsque les préjudices sont des problèmes spécifiques à Snap, propres à sa technologie et à ses fonctionnalités. Ils se croient à la pointe et s’intéressent aux connexions et à la technologie rapides, mais devant les tribunaux, ils essaient toujours de sanctionner les avocats et les familles en deuil qui leur demandent des comptes. »
-
Tout est bon pour coincer ces enculés mou de la bite !!!
-
@Mister158 a dit dans Les flics attirent les pédophiles avec des photos IA d'une adolescente. Triomphe éthique ou nouveau désastre ? :
Tout est bon pour coincer ces enculés mou de la bite !!!
Je l’aurais pas dit comme ça, mais je suis d’accord avec ce que tu dis
-
Une pince coupante et au feu comme lord varis
-
Le chalumeau…y’a pas mieux
-
Ça sent le “cochon” après, c’est pas mal ça aussi
(Je ne te cite pas, hein @duJambon, tout le monde sait que tu sens la rose 
) 
-
Ah bin je comprends maintenant pourquoi elle ne m’a pas répondu!
Blague à part, qu’importe la méthode, si ça peut faire avancer les choses.
-
@michmich En espérant qu’on n’assistera pas à d’éventuelles dérives…
