Accusés à tort de pédophilie pour des photos faites à la demande de médecins

[Raccoon]

Deux pères de famille américains ont été soupçonnés, à tort, de pédophilie, pour avoir pris en photographie, à la demande de médecins, le sexe de leurs enfants. Google a bloqué leurs comptes, et entend bien les supprimer définitivement, quand bien même les deux pères ont depuis été innocentés par la police.

Alors que le projet de règlement CSAM (pour « Child sexual abuse material », ou « Matériels d’abus sexuels d’enfants », expression qui a vocation à remplacer le terme erroné de « pédopornographie ») veut obliger les « fournisseurs des services » à signaler les abus sexuels potentiels sur mineurs (voir notre explication ligne par ligne), le New York Times raconte l’histoire kafkaïenne vécue par deux pères de famille soupçonnés, à tort, par Google, de pédophilie :

« Google dispose d’un outil automatisé pour détecter les images abusives d’enfants. Mais le système peut se tromper, et les conséquences sont graves. »

Mark, qui a demandé à ne pas être identifié pour éviter tout risque de dommage réputationnel du fait de cette mésaventure, avait constaté que le pénis de son fils avait gonflé.

Il l’avait donc pris en photo, pour pouvoir suivre et documenter l’évolution du problème. En prévision d’une téléconsultation vidéo (l’histoire remonte à février 2021, en plein confinement), l’infirmière demanda à sa femme d’envoyer des photos au médecin, pour tenter d’identifier les symptômes du problème.

Ce qu’elle fit, avec le portable de son mari, envoyant plusieurs gros plans par MMS : « sur l’une d’elles, la main de Mark était visible, ce qui permettait de mieux visualiser le gonflement », précise le New York Times :

« Avec l’aide des photos, le médecin a diagnostiqué le problème et prescrit des antibiotiques, qui l’ont rapidement guéri. Mais cet épisode a laissé à Mark un problème bien plus important, qui lui a coûté plus d’une décennie de contacts, d’e-mails et de photos, et qui a fait de lui la cible d’une enquête de police. »

Google pense probablement que je suis pédophile

Mark, dont le téléphone Android stockait les photos dans le nuage de Google, reçut deux jours plus tard une alerte sonore lui indiquant que son compte avait été désactivé en raison d’un « contenu préjudiciable » qui constituait « une violation grave des règles de Google et pouvait être illégal ».

Un lien « en savoir plus » le renvoyait à une liste de raisons possibles, dont « abus et exploitation sexuels d’enfants ».

Mark, qui est par ailleurs ingénieur logiciel, et qui avait en outre été amené à travailler sur un outil automatisé destiné à traiter les contenus vidéo signalés par les utilisateurs comme problématiques, fit rapidement le lien avec les photos du pénis de son fils : « Oh mon Dieu, Google pense probablement que c’était de la pornographie enfantine », raconte-t-il au New York Times.

Il fit appel de la suspension de son compte, expliquant les problèmes de santé de son fils, mais quelques jours plus tard, Google lui notifia une fin de non-recevoir :

« Mark ne le savait pas, mais l’équipe de révision de Google avait également signalé une vidéo qu’il avait réalisée et la police de San Francisco avait déjà commencé à enquêter sur lui. »

Deux gouttes d’eau dans un grand seau

Dans le même temps, Mark n’avait plus accès à ses courriels, son carnet d’adresses, ses photos stockées dans le cloud, son numéro de téléphone (il était abonné à Google Fi, l’opérateur mobile virtuel du groupe Alphabet), et découvrait « l’effet domino d’avoir été rejeté par Google ».

Faute de pouvoir accéder à son adresse email et à son numéro de téléphone, il ne pouvait plus non plus obtenir les codes de sécurité lui permettant de se connecter à ses autres comptes, « le privant d’une grande partie de sa vie connectée ».

Kashmir Hill, la journaliste du New York Times, raconte avoir identifié au moins un autre cas similaire. À la demande d’un pédiatre, Cassio avait, lui aussi, pris en photo les parties intimes de son enfant, elles aussi sauvegardées dans Google Photo.

Sauf que Cassio était en parallèle en passe d’acheter une maison, et que la brusque fermeture de son compte Google a transformé en « véritable casse-tête » l’obtention de son emprunt immobilier.

« En 2021, Google a enregistré à lui seul plus de 600 000 signalements de matériel pédopornographique et a désactivé les comptes de plus de 270 000 utilisateurs en conséquence », précise le New York Times : « les expériences de Mark et de Cassio étaient des gouttes d’eau dans un grand seau ».

29 millions de rapports, 4 260 nouvelles victimes potentielles

Google a en effet développé un outil reposant sur l’intelligence artificielle afin d’identifier les images d’abus et d’exploitation d’enfants. Rendu public en 2018, il permet non seulement de reconnaître les empreintes d’images d’enfants abusés d’ores et déjà identifiées par les autorités, mais également celles qui ne l’ont pas encore été.

Et c’est cet outil, par ailleurs utilisé par Facebook et d’autres entreprises, qui a identifié les photos de Mark et de Cassio comme potentiellement problématiques. Elles auraient ensuite été transmises à un modérateur, afin qu’il confirme qu’elles relèveraient bien de « la définition fédérale de matériel pédopornographique » :

« Lorsque Google fait une telle découverte, il verrouille le compte de l’utilisateur, recherche d’autres contenus abusifs et, comme l’exige la loi fédérale, fait un rapport au CyberTipline du National Center for Missing and Exploited Children. »

Cette organisation à but non lucratif est devenue le centre d’échange d’informations sur les abus, explique le New York Times. L’an passé, elle a ainsi reçu plus de 29 millions de rapports, soit environ 80 000 par jour.

La plupart ont déjà été signalées, mais continuent à circuler. Ses 40 analystes se concentrent donc plutôt sur les nouvelles victimes potentielles, afin de pouvoir alerter les autorités, identifier les enfants et les mettre hors de danger.

Ils rajoutent également les nouvelles images à la base de données des empreintes de celles qui ont d’ores et déjà été identifiées. Ce qui pourrait entraîner les médecins ayant demandé les photos, ainsi que les mères des enfants concernés, à pouvoir, eux aussi, être ainsi qualifiés d’abuseurs potentiels, et voir leurs comptes fermés.

Le New York Times raconte d’ailleurs que la femme de Mark s’est empressée d’effacer les photos du pénis de son fils de son iPhone, alors qu’Apple a, lui aussi, annoncé l’an passé qu’il prévoyait d’analyser les photos sur iCloud.

En 2021, le CyberTipline explique avoir alerté les autorités sur « plus de 4 260 enfants nouvelles victimes potentielles », dont ceux de Mark et Cassio, précise le New York Times.

Quelques jours pour être dénoncés, des mois pour être innocentés

En décembre 2021, soit 10 mois après avoir pris les photos litigieuses, Mark recevait un courrier du département de police de San Francisco l’informant qu’il avait fait l’objet d’une enquête :

« Un enquêteur, dont les coordonnées étaient fournies, avait demandé tout ce que contenait le compte Google de Mark : ses recherches sur Internet, l’historique de sa localisation, ses messages et tout document, photo et vidéo qu’il avait stocké auprès de la société. »

Mark contacta l’enquêteur, qui lui confirma que l’enquête était close, tout en précisant qu’il avait tenté, en vain, de le contacter sur son numéro de téléphone et via l’adresse email qui avaient donc été bloqués par Google.

Mark lui demanda à son tour de contacter Google afin de l’informer qu’il était innocent de ce dont il avait été soupçonné, et de sorte de récupérer ses comptes. « Il n’y a rien que je puisse faire », lui opposa l’officier.

Après avoir de nouveau fait appel, Mark reçut deux mois plus tard, soit un an après le début de l’affaire, une nouvelle fin de non-recevoir de la part de Google, l’informant que son compte serait définitivement supprimé.

Après en avoir discuté avec son avocat, Mark a finalement estimé que cela ne valait pas les 7 000 dollars qu’une telle procédure risquait de lui coûter.

Convoqué par la police, Cassio a pu montrer au policier qui enquêtait sur lui que les photos avaient été réclamées par le pédiatre, et a, lui aussi, été innocenté quelques mois après le signalement de Google.

Mais lui non plus n’a pu récupérer l’accès à son compte « vieux de 10 ans, et bien qu’il soit un utilisateur payant des services Web de Google ».

Source et suite : nextinpact.com

[Violence]

Punaise quel bordel !!

Dans un sens, c’est assez intéressant de voir que technologiquement parlant, les algo fonctionnent, et d’un autre côté, on a la version sombre du délire

[Ashura]

Non non les GAFAM et autres n’espionnent pas toute votre vie

[michmich]

@raccoon a dit dans Accusés à tort de pédophilie pour des photos faites à la demande de médecins :

Google pense probablement que je suis pédophile

Google ne pense pas, il calcule tout au plus.

Et souvent ceux qui s’en plaignent le plus, sont les mêmes qui le nourrissent!

[torrenteur]

@violence au contraire c’est bien encore une fois la preuve que les algorithmes ne fonctionnent pas sans supervision humaine. Ce sont tout de même des accusations très graves.

[Violence]

Oui en effet @torrenteur !

Tu me connais, je ne suis pas un défenseur de Google, bien au contraire
(Faudrait que je retrouve mon topic WS avec toutes les alternatives libres pour s’en passer tiens !)

Tout ne peut pas être automatisé (quoique, Google ne doit pas penser cela) et ce n’est pas plus mal d’ailleurs d’où ce topic et le fait que si Google veux le faire correctement, il y a encore du boulot. Dans ce contexte, il aurai fallu (toujours techniquement parlant, et non éthiquement parlant) analyser le texte qui va avec l’image envoyée dans l’échange pour analyser le contexte dans l’algo et comme tu le soulignes, ce n’est pas au point.

Donc bien évidemment, je trouve cela dégueulasse et je suis contre cette surveillance automatisée. Je n’aimerais pas être d’ailleurs dans la même position que ces messieurs.

En tant que technophile, cela ne m’empêche pas de trouver intéressant la façon sur comment ses algo sont conçus.

Je vais essayer à l’avenir de mieux choisir mes mots sinon je vais me faire allumer ou me faire passer pour ce que je ne suis pas ha ha

[alexfucheng]

Que Google fasse du flicage n’est pas nouveau, ce qui est consternant c’est qu’ils ne rendent pas les données pour ces personnes innocentées.

J’imagine quelqu’un qui a mis tous ses œufs dans le même panier, plus de mails, plus de Google Drive, un smartphone Android moins fonctionnel, plus de Google Docs, plus de compte Youtube, c’est une bonne partie de sa vie en ligne foutue en l’air.

Un youtubeur français avait perdu sa chaîne et son compte Google et les avait retrouvés 24 heures plus tard, sans explications. Ils font vraiment ce qu’ils ont envie, ou ce que leurs algos décident.

[Raccoon]

@alexfucheng a dit dans Accusés à tort de pédophilie pour des photos faites à la demande de médecins :

Un youtubeur français avait perdu sa chaîne et son compte Google et les avait retrouvés 24 heures plus tard, sans explications. Ils font vraiment ce qu’ils ont envie, ou ce que leurs algos décident.

Ca me fait penser au Youtubeur Hedge qui a vu sa chaine supprimée, 14 ans qu’il l’alimentait, plus de 600 vidéos. Youtube a évidement refusé de rouvrir la chaine. C’est en passant par un avocat qui le suivait qu’il a finalement pu récupérer toutes se vidéos, mais pas sa chaine, Youtube lui a expédié un disque dur contenant toutes les données.

Comme quoi Google fait bien ce qu’il veut, comme ça lui plait.

[Pollux]

@alexfucheng a dit dans Accusés à tort de pédophilie pour des photos faites à la demande de médecins :

Un youtubeur français avait perdu sa chaîne et son compte Google et les avait retrouvés 24 heures plus tard, sans explications. Ils font vraiment ce qu’ils ont envie, ou ce que leurs algos décident.

Depuis le covid et la guerre en Ukraine c’est par dizaines que les chaines YouTube ou les comptes sur les R.S. se font supprimer, démonétiser ou invisibiliser.

Le 16 août la loi Avia qui avait été retoquée par le Conseil Constitutionnel a été adoptée (pour s’adapter au droit européen) au prétexte de lutter contre le terrorisme, avec une définition tellement vague de celui-ci qu’elle va permettre d’en remettre une couche et de faire supprimer n’importe quel contenu qui n’adopte pas le discours officiel.

L’info est censurée, les échanges sont surveillés, tout cela dans l’indifférence la plus complète, voire avec l’assentiment des adeptes du storytelling toujours prompts à crier au complotisme quand on leur dit de le faire.

[alexfucheng]

@pollux a dit dans Accusés à tort de pédophilie pour des photos faites à la demande de médecins :

L’info est censurée, les échanges sont surveillés, tout cela dans l’indifférence la plus complète, voire avec l’assentiment des adeptes du storytelling toujours prompts à crier au complotisme quand on leur dit de le faire.

Dans le cas de Nic et de sa chaîne The Linux Experiment, il ne fait que de la vulgarisation de Linux et sans controverses ou opinions extrêmes.

Ce qui semble avoir fait pencher la balance, c’est que beaucoup de linuxiens et de youtubeurs l’ont supporté (il fait ses vidéos en anglais, ça aide aussi), mais comme il expliquait, s’il n’avait que 10 000 abonnés au lieu de 200 000, il n’aurait sans doute pas revu sa chaîne.

il avait fait une vidéo sur ce qui lui était arrivé (en anglais) :

Ses vidéos sont aussi sur Odysee :
https://odysee.com/@TheLinuxExperiment:e/youtube-temporarily-deleted-my-channel,:4

[Rapace]

perso je trouve ça complètement idiot de vouloir stocker ce genre de photographies sur un cloud… on sait bien qu’ils sont hyper surveillés alors pourquoi vouloir tenter le diable ^^

[alexfucheng]

@rapace a dit dans Accusés à tort de pédophilie pour des photos faites à la demande de médecins :

perso je trouve ça complètement idiot de vouloir stocker ce genre de photographies sur un cloud… on sait bien qu’ils sont hyper surveillés alors pourquoi vouloir tenter le diable ^^

Le problème c’est que tout ce qui est sous ton compte Google est supprimé, cloud compris, alors que tu as envoyé la photo au toubib par mail, je n’ai jamais mentionné de stocker ce genre de photos sur le cloud.

[Rapace]

@raccoon a dit dans Accusés à tort de pédophilie pour des photos faites à la demande de médecins :

Mark, dont le téléphone Android stockait les photos dans le nuage de Google

[alexfucheng]

@rapace

On peut supposer que c’est le genre de personnes qui pensent qu’ils n’ont rien à cacher donc qui ne sont pas concernées.