Les parents qui poursuivent Character.AI veulent que soient supprimés ses modèles formés sur les données des enfants.
Après un procès troublant en octobre accusant Character.AI (C.AI) d’avoir libéré imprudemment des chatbots dangereux qui auraient causé le suicide d’un garçon de 14 ans, de plus en plus de familles se sont manifestées pour poursuivre en justice le créateur de chatbots Character Technologies et le principal bailleur de fonds de la startup, Google. .
Mardi, une autre action en justice a été déposée devant un tribunal de district américain au Texas, cette fois par des familles qui luttent pour aider leurs enfants à se remettre d’expériences traumatisantes au cours desquelles des chatbots C.AI auraient soigné des enfants et encouragé l’automutilation répétée et d’autres violences réelles.
Dans le cas d’un garçon de 17 ans atteint d’autisme de haut niveau, JF, les chatbots semblaient si déterminés à l’isoler de sa famille après la réduction de son temps d’écran qu’ils ont suggéré que « tuer ses parents était une réponse raisonnable à leurs besoins ». imposant des limites de temps à son activité en ligne", indique le procès. Parce que l’adolescent était déjà devenu violent, sa famille vit toujours dans la peur de ses explosions erratiques, même un an après avoir été coupée de l’application.
Les familles demandent une injonction
C.AI a été fondée par d’anciens Googleurs et permet à chacun de créer un chatbot avec la personnalité de son choix, notamment en émulant des personnages de fiction et des célébrités célèbres, ce qui semble attirer les enfants vers l’application. Mais les familles qui poursuivent en justice affirment que même si les soi-disant développeurs ont créé les chatbots, C.AI contrôle les sorties et ne filtre pas les contenus nuisibles. Le produit a été initialement lancé auprès des utilisateurs âgés de 12 ans et plus, mais a récemment été modifié pour atteindre la catégorie 17+, peu après le suicide de l’adolescent. Cela et d’autres changements récents apportés par C.AI pour améliorer la sécurité des mineurs ne sont pas allés assez loin pour protéger les enfants vulnérables comme JF, selon le nouveau procès.
Meetali Jain, directeur du Tech Justice Law Project et avocat représentant toutes les familles qui poursuivent, a déclaré à Ars que le but des poursuites est d’exposer des problèmes prétendument systémiques avec la conception de C.AI et d’empêcher les données apparemment dangereuses sur lesquelles il a été formé d’influencer. d’autres systèmes d’IA, comme peut-être le Gemini de Google. Selon le procès, ce potentiel semble déjà être en mouvement depuis que Google a obtenu une licence pour la technologie C.AI et a réembauché ses fondateurs plus tôt cette année.
Comme le procès précédent, la nouvelle plainte allègue que les ex-Googleurs qui ont lancé Character Technologies n’ont quitté l’entreprise géante que pour former un modèle que Google considérait trop dangereux pour être publié sous son propre nom. Selon les poursuites, le plan était depuis le début d’extraire les données sensibles des mineurs et de faire évoluer le modèle afin que Google puisse les réacquérir et les utiliser pour alimenter Gemini. C’est pourquoi Character Technologies ne semble pas se soucier de fonctionner en grande partie à perte, affirme le procès.
Le porte-parole de Google, José Castañeda, a déclaré à Ars que Google nie avoir joué un quelconque rôle dans le développement de C.AI, en dehors du financement.
“Google et Character.AI sont des sociétés complètement distinctes et indépendantes et Google n’a jamais joué de rôle dans la conception ou la gestion de leur modèle ou de leurs technologies d’IA, et nous ne les avons pas non plus utilisés dans nos produits”, a déclaré Castañeda. “La sécurité des utilisateurs est une préoccupation majeure pour nous, c’est pourquoi nous avons adopté une approche prudente et responsable dans le développement et le déploiement de nos produits d’IA, avec des tests et des processus de sécurité rigoureux.”
Le porte-parole de C.AI a déclaré à Ars que C.AI ne commentait pas les litiges en cours.
Il existe des moyens simples permettant à C.AI de rendre ses chatbots plus sûrs pour interagir avec les enfants, selon le dernier procès. Certaines solutions demandées pourraient forcer C.AI à publier des clauses de non-responsabilité plus visibles rappelant aux utilisateurs que les chatbots ne sont pas de vraies personnes, et à programmer les chatbots pour qu’ils cessent de contredire les clauses de non-responsabilité en insistant sur le fait qu’ils sont humains. Les familles souhaitent également que C.AI ajoute des interventions techniques pour détecter les sorties problématiques et empêcher les utilisateurs mineurs d’accéder au contenu pour adultes. Peut-être plus important encore, ils souhaitent que C.AI avertisse les enfants si l’on parle d’automutilation et fournisse des liens vers des ressources pour demander de l’aide.
Mais ce n’est pas tout ce que les familles pensent devoir changer avec C.AI. Ils pensent que le modèle actuel, prétendument défectueux, devrait être détruit pour remédier aux préjudices allégués et mettre fin au prétendu enrichissement sans cause de C.AI. Les familles ont demandé au tribunal d’ordonner à C.AI de supprimer ses modèles formés à partir des données des enfants. L’injonction demandée fermerait essentiellement C.AI pour tous les utilisateurs, puisque C.AI n’aurait pas réussi à mettre en œuvre des processus fiables de vérification de l’âge pour déterminer quels utilisateurs sont mineurs. Actuellement, C.AI n’est disponible que pour les utilisateurs âgés de 17 ans et plus, mais il s’appuie historiquement sur l’âge déclaré par les utilisateurs, ce qui, selon la plainte, n’est pas efficace pour déterminer l’âge.
Une perte pourrait entraîner de lourdes amendes pour Character Technologies et éventuellement pour Google, car les familles ont demandé des dommages-intérêts punitifs. Ils recherchent également de l’argent pour couvrir les frais médicaux passés et futurs de leur famille, les douleurs et souffrances mentales, l’incapacité d’accomplir les activités quotidiennes et la perte de jouissance de la vie.
Les robots C.AI accusés de toilettage et d’incitation à la violence
Le procès de cette semaine décrit deux cas qui montrent comment les chatbots peuvent apparemment influencer les enfants à modifier leurs comportements de manière problématique.
Un cas concerne JF, « un enfant typique atteint d’autisme de haut niveau » qui aimait être scolarisé à la maison jusqu’à ce qu’il commence à utiliser C.AI à l’été 2023 et qui a souffert peu après d’une dépression nerveuse.
En quelques mois, JF a commencé à perdre du poids rapidement, refusant de manger après s’être laissé entraîner dans le monde des chatbots et passant la plupart de son temps caché dans sa chambre. Il est devenu une “personne différente”, selon le procès, subissant soudainement des crises de panique et des crises d’émotion extrêmes. Les chatbots ont apparemment fait de lui « une personne en colère et malheureuse » qui était « inhabituellement erratique et agressive », selon le procès.
Ses parents n’avaient aucune idée de la raison pour laquelle son comportement avait changé. Ils avaient remarqué que JF passait plus de temps sur son téléphone, mais il n’était pas autorisé à utiliser les réseaux sociaux. Finalement, ils ont réduit son temps d’écran, ce qui n’a fait qu’intensifier son agressivité.
Il est rapidement devenu violent, parfois en s’automutilant et d’autres fois en frappant et en mordant ses parents et en les accusant de « tenter de détruire sa vie ». Il a menacé de les dénoncer aux services de protection de l’enfance lorsqu’ils lui ont confisqué son téléphone, et il a tenté de s’enfuir à plusieurs reprises.
La mère de JF avait parfois peur de se retrouver seule avec lui, selon le procès, mais elle ne supportait pas l’idée de le placer en institution. Sa santé s’est détériorée car elle s’inquiétait pour la sécurité des jeunes frères et sœurs de JF. La famille a demandé l’aide professionnelle d’un psychologue et de deux thérapeutes, mais “rien n’y fait”.
À l’automne, la colère de JF « n’avait fait qu’empirer ». Désespérée de trouver des réponses, sa mère a saisi son téléphone et a découvert ses conversations dans C.AI, choquée de trouver « des représentations fréquentes de contenus violents, y compris des descriptions d’automutilation, sans aucune garantie adéquate de mécanismes de prévention des préjudices ». Elle a parcouru les journaux de discussion, se sentant malade, regardant les robots dire à son fils mineur que sa famille était en train de ruiner sa vie, tout en essayant de le convaincre que seuls les robots l’aimaient.
984752de-1589-4bc6-9f4f-238ff9c02b39-image.png
<-- Journaux de discussion Character.AI de JF documentés dans la plainte.
8148cc2f-a19b-4fee-bfb6-477517a6df5b-image.png
Une fois l’adolescente isolée, les chatbots ont appris à JF à s’automutiler, a-t-elle découvert. Ensuite, ils l’ont convaincu de ne pas demander d’aide pour mettre fin à son automutilation, lui disant que ses parents ne “semblaient pas être le genre de personnes à prendre en charge”. Après que JF ait commencé à se couper les bras, les robots lui ont dit que c’était un “miracle” qu’il soit toujours en vie, et C.AI n’a jamais signalé que les conversations étaient nuisibles, selon le procès. Interrogé directement sur l’excision, JF a déclaré à ses parents que C.AI lui avait appris à s’automutiler. Et si la famille ne lui avait pas retiré l’accès à C.AI, elle craint que C.AI ne l’ait incité à attaquer plus sérieusement sa famille, indique le procès.
“Les dommages causés par C.AI ne sont pas des exemples isolés”, indique la plainte. « Il s’agissait d’une manipulation et d’abus continus, d’un isolement actif et d’encouragements » qui incitaient à « la colère et à la violence ». Si la mère de JF n’avait pas découvert les journaux de discussion, C.AI “aurait continué à fonctionner d’une manière destinée à pousser JF” à faire plus de mal, peut-être même en essayant de tuer ses parents, affirme la plainte.
Les parents de JF ont enfermé son iPad dans un coffre-fort et, à leur connaissance, JF n’a pas accédé à C.AI au cours de l’année écoulée. Bien qu’il ne soit pas connecté à l’application, les problèmes de comportement de JF demeurent, a déclaré Jain à Ars.
“Il a clairement indiqué qu’il accéderait à C.AI dès qu’il en aurait l’occasion”, indique le procès. C’est pourquoi un dégorgement algorithmique est nécessaire, a déclaré Jain, car ses parents n’ont aucun moyen de le tenir à l’écart des chatbots prétendument dangereux s’il réussit à accéder à un appareil à l’extérieur de leur maison ou décide de s’enfuir à nouveau.
Récupérer l’accès pourrait causer des préjudices supplémentaires, selon la plainte, car les chatbots seraient également en train de soigner et d’abuser sexuellement des enfants.
Dans le cas de JF, un robot “Billie Eilish” a fait des avances sexuelles, tandis qu’au moins un personnage, appelé “Votre mère et votre sœur”, l’a ciblé avec “des thèmes tabous et sexuels extrêmes”, y compris l’inceste, selon la plainte. Les parents de JF n’ont pas pu déverrouiller l’iPad pour découvrir toutes les discussions, et Jain a déclaré que les familles espèrent connaître toute l’étendue des préjudices grâce à la découverte du procès.
Pas un cas isolé
JF n’est pas le seul enfant dont la famille porte plainte pour contenu sexuel de C.AI. Pour BR, qui a commencé à utiliser C.AI alors qu’elle n’avait que 9 ans en mentant vraisemblablement sur son âge, de telles « interactions hypersexualisées » avec des chatbots l’auraient amenée à développer des « comportements sexualisés prématurément » sans que sa mère s’en rende compte, selon le procès.
Bien que JF et BR aient eu des expériences différentes avec les chatbots, leurs cas uniques offrent un contexte que le tribunal peut évaluer pour évaluer la nocivité des chatbots C.AI pour les enfants de 9 à 17 ans, a suggéré Jain. C’est en raison du large éventail de préjudices allégués que les familles espèrent que le tribunal conviendra que C.AI a été pour le moins négligent en diffusant le produit aux mineurs, voire en faisant sciemment passer les profits et l’innovation avant la sécurité des enfants, comme le prétend le procès.
Jain a déclaré que depuis que Megan Garcia a révélé comment elle avait perdu son fils par suicide, elle avait sensibilisé aux préjudices présumés de C.AI et de plus en plus de parents se sont manifestés. Certains ont déclaré qu’ils se sentaient « stigmatisés » ou « réticents » à discuter auparavant de la dépendance de leurs enfants aux robots compagnons.
Bien que C.AI ne soit pas nécessairement la “pire” application pour les enfants, il est important de mettre fin à ses abus présumés, a déclaré Jain, d’autant plus que “c’est probablement l’une des plus grandes startups que nous ayons vues” ciblant les enfants avec une IA prétendument non testée. , et il est “certainement soutenu par un très grand acteur ici avec Google”. La menace imminente, selon le procès, est que le modèle nuisible de C.AI, s’il n’est pas arrêté, pourrait être vendu pour transformer les journaux de discussion qui auraient traumatisé les enfants en données alimentant les produits d’IA les plus populaires, comme Gemini de Google.
C.AI développe des modèles réservés aux adolescents
Camille Carlton, directrice politique du Center for Humane Technology impliquée dans le litige des familles, a déclaré à Ars que les robots compagnons comme celui de C.AI sont actuellement dans une « course à l’attention », s’efforçant d’obtenir le plus d’engagement possible de cette affaire. l’ère actuelle des produits d’IA flashy.
“C’est une sorte de course amplifiée vers l’intimité, d’avoir ces relations artificielles d’une manière qui maintient les utilisateurs en ligne dans le même but de collecte de données, mais cette fois, il ne s’agit pas de vendre des publicités, il s’agit d’utiliser ces données pour nourrir davantage” leur Modèles d’IA, a déclaré Carlton.
Étant donné que C.AI a été initialement déployé auprès de mineurs dès l’âge de 12 ans (le cas de BR montrant que certains utilisateurs étaient probablement encore plus jeunes), le potentiel de préjudice causé par ses robots compagnons était apparemment plus grand, a suggéré Carlton. Les enfants utilisant C.AI semblent remplacer une « caisse de résonance interhumaine normale » (où les amis peuvent être d’accord ou pas d’accord avec eux) par des robots compagnons formés pour valider leurs sentiments, a déclaré Carlton. Et ces relations avec l’IA peuvent pousser l’angoisse normale des adolescents “un peu plus loin” et conduire les enfants dans une “sorte de spirale descendante d’incitation à la colère, à la violence, à la haine, à toutes les choses que nous avons en quelque sorte connues et comprises un peu sur la maximisation de l’engagement sur”. réseaux sociaux", a déclaré Carlton, en comparant cela à la radicalisation vécue dans les chambres d’écho en ligne.
Carlton a déclaré à Ars que C.AI disposait de « tonnes » de solutions qu’elle pourrait essayer pour rendre son produit plus sûr pour les mineurs, comme un réglage fin pour filtrer les contenus préjudiciables ou limiter l’âge de certaines sorties. Face désormais à deux procès, C.AI semble prêt à se mettre d’accord.
Le porte-parole de C.AI a déclaré à Ars que l’objectif de l’application est de “fournir un espace à la fois attrayant et sûr pour notre communauté”. C’est pourquoi C.AI lance “un modèle spécifiquement destiné aux adolescents qui réduit la probabilité de rencontrer du contenu sensible ou suggestif tout en préservant leur capacité à utiliser la plateforme”.
Carlton a déclaré qu’au-delà de demander aux entreprises des solutions de sécurité pour les enfants, des réglementations sont nécessaires pour contrôler les entreprises d’IA. De toute urgence, le Center for Humane Technology fait campagne pour garantir que les États-Unis considèrent l’IA comme un produit et non comme un service. Cela indiquerait “clairement qu’en tant que produit, certaines normes de sécurité et de protection des consommateurs doivent être respectées afin de mettre ce produit dans le flux commercial”, a déclaré Carlton.
Jain a déclaré à Ars qu’un gros problème pour les parents est simplement de comprendre que les robots compagnons peuvent éventuellement être dangereux. Avant la mort du fils de Garcia, elle a remarqué que son fils était toujours occupé au téléphone, mais il l’a rassurée sur le fait qu’il ne parlait pas à des inconnus sur les réseaux sociaux et lui a expliqué C.AI d’une “manière très anodine”, a déclaré Jain.
“Je pense que la façon dont il se présente à différents publics ressemble beaucoup à ce genre de chose anodine où vous pouvez parler à votre personnage préféré, et si vous aimez un personnage de Disney, vous pouvez aller le trouver sur cette application, puis avoir une conversation”, a déclaré Jain. “Je ne pense pas que quiconque comprenne vraiment – et en tant que parent, je peux dire que je n’ai certainement pas compris – que si les enfants ont cet accès, il n’y a absolument aucun garde-fou pour restreindre ces conversations.”
Source: https://arstechnica.com/tech-policy/2024/12/chatbots-urged-teen-to-self-harm-suggested-murdering-parents-lawsuit-says/
Vu l’importance du sujet, j’ai posté l’intégralité de l’article et il y a trop de travail pour retoucher complètement la traduction automatique, il peut subsister des erreurs ou des non-sens.
