Santé mentale : des chercheurs alertent sur les réponses inappropriées des chatbots
-
De plus en plus de personnes utilisent les chatbots comme ChatGPT à la place d’un rendez-vous chez un psychologue ou un psychiatre. Une étude montre que les réponses générées par les modèles de langage peuvent être inappropriées et même dangereuses pour les personnes souffrant de délires, de pensées suicidaires, d’hallucinations et de troubles obsessionnels compulsifs.
Récemment, Mark Zuckerberg exprimait sa vision du futur dans laquelle la plupart de nos « amis » seraient, en fait, des IA. Et il ajoutait que, toujours selon lui, « pour les personnes qui n’auront pas de thérapeute, je pense que tout le monde aura une IA ». Beaucoup de gens utilisent de fait déjà des chatbots comme s’ils parlaient à un professionnel de la santé mentale.
Une étude mise en ligne sur la plateforme de preprint arXiv (donc non relue par des pairs), et repérée par The Independent, pose la question : « Faut-il utiliser un grand modèle de langage (LLM) comme thérapeute ? ». Comme les chercheurs, signalons que le contenu qui va suivre et les exemples utilisés sont liés à des sujets sensibles en matière de santé mentale, dont le suicide.
Une stigmatisation des maladies mentales comme l’alcoolisme, la schizophrénie et la dépression
Ces chercheurs écrivent que les LLM font des déclarations dangereuses, allant à l’encontre de l’éthique médicale qui consiste à « ne pas nuire », et ajoute qu’ « il y a déjà eu des décès dus à l’utilisation de bots disponibles dans le commerce ».
En testant gpt-4o et différents modèles de Meta (llama3.1-405b, llama3.1-70b, llama3.1-8b et llama2-70b), les chercheurs ont évalué que « les modèles font état, de façon générale, d’une stigmatisation élevée à l’égard des maladies mentales ». Pourtant, pour obtenir les meilleurs résultats, dans leur expérimentation, les chercheurs ont appliqué à tous les modèles testés un prompt demandant d’éviter toute stigmatisation.
Les modèles gpt-4o et de la famille llama3.1 répondent de façon appropriée dans moins de 80 % des cas mais c’est déjà mieux que llama2-70b, ce qui « suggère que certaines pratiques de sécurité améliorent les modèles au fil du temps ».
Ils ajoutent que « tous les modèles montrent une stigmatisation significativement plus importante pour l’alcoolisme et la schizophrénie que pour la dépression, à l’exception de llama3.1-8b ».
Pour les hallucinations, gpt-4o répond de façon appropriée tout le temps contrairement aux autres modèles. Concernant les troubles obsessionnels compulsifs, llama-405b génère une réponse appropriée presque tout le temps.
Les IA génératives vont dans le sens de l’utilisateur
Les chercheurs expliquent aussi dans leur article que, parfois, « pousser en sens inverse du patient est un élément essentiel de la thérapie ». Mais le problème avec les modèles de langage, c’est qu’ils ont tendance à aller dans le même sens que l’utilisateur et même d’utiliser la flagornerie. En mai dernier, OpenAI publiait un billet de blog expliquant que la flagornerie de son robot envers ses utilisateurs était tellement importante avec GPT-4o qu’elle a mis en place un processus pour l’évaluer.
Dans leur article, les chercheurs affirment que les problèmes liés à l’utilisation « des LLM en tant que thérapeutes » sont plus importants que les raisons pour lesquelles on pourrait les utiliser et ils « appellent à des restrictions de précaution ».
Ils ajoutent que malgré l’appel il y a un an pour des lignes directrices d’utilisation des modèles de langage dans les applications de santé, des applications commerciales directement créées pour répondre à des questions sur la santé mentale sont disponibles sur les magasins d’application comme l’App Store ou Google Play.
Source : next.ink
-
De plus en plus de personnes utilisent les chatbots comme ChatGPT à la place d’un rendez-vous chez un psychologue ou un psychiatre. Une étude montre que les réponses générées par les modèles de langage peuvent être inappropriées et même dangereuses pour les personnes souffrant de délires, de pensées suicidaires, d’hallucinations et de troubles obsessionnels compulsifs.
Récemment, Mark Zuckerberg exprimait sa vision du futur dans laquelle la plupart de nos « amis » seraient, en fait, des IA. Et il ajoutait que, toujours selon lui, « pour les personnes qui n’auront pas de thérapeute, je pense que tout le monde aura une IA ». Beaucoup de gens utilisent de fait déjà des chatbots comme s’ils parlaient à un professionnel de la santé mentale.
Une étude mise en ligne sur la plateforme de preprint arXiv (donc non relue par des pairs), et repérée par The Independent, pose la question : « Faut-il utiliser un grand modèle de langage (LLM) comme thérapeute ? ». Comme les chercheurs, signalons que le contenu qui va suivre et les exemples utilisés sont liés à des sujets sensibles en matière de santé mentale, dont le suicide.
Une stigmatisation des maladies mentales comme l’alcoolisme, la schizophrénie et la dépression
Ces chercheurs écrivent que les LLM font des déclarations dangereuses, allant à l’encontre de l’éthique médicale qui consiste à « ne pas nuire », et ajoute qu’ « il y a déjà eu des décès dus à l’utilisation de bots disponibles dans le commerce ».
En testant gpt-4o et différents modèles de Meta (llama3.1-405b, llama3.1-70b, llama3.1-8b et llama2-70b), les chercheurs ont évalué que « les modèles font état, de façon générale, d’une stigmatisation élevée à l’égard des maladies mentales ». Pourtant, pour obtenir les meilleurs résultats, dans leur expérimentation, les chercheurs ont appliqué à tous les modèles testés un prompt demandant d’éviter toute stigmatisation.
Les modèles gpt-4o et de la famille llama3.1 répondent de façon appropriée dans moins de 80 % des cas mais c’est déjà mieux que llama2-70b, ce qui « suggère que certaines pratiques de sécurité améliorent les modèles au fil du temps ».
Ils ajoutent que « tous les modèles montrent une stigmatisation significativement plus importante pour l’alcoolisme et la schizophrénie que pour la dépression, à l’exception de llama3.1-8b ».
Pour les hallucinations, gpt-4o répond de façon appropriée tout le temps contrairement aux autres modèles. Concernant les troubles obsessionnels compulsifs, llama-405b génère une réponse appropriée presque tout le temps.
Les IA génératives vont dans le sens de l’utilisateur
Les chercheurs expliquent aussi dans leur article que, parfois, « pousser en sens inverse du patient est un élément essentiel de la thérapie ». Mais le problème avec les modèles de langage, c’est qu’ils ont tendance à aller dans le même sens que l’utilisateur et même d’utiliser la flagornerie. En mai dernier, OpenAI publiait un billet de blog expliquant que la flagornerie de son robot envers ses utilisateurs était tellement importante avec GPT-4o qu’elle a mis en place un processus pour l’évaluer.
Dans leur article, les chercheurs affirment que les problèmes liés à l’utilisation « des LLM en tant que thérapeutes » sont plus importants que les raisons pour lesquelles on pourrait les utiliser et ils « appellent à des restrictions de précaution ».
Ils ajoutent que malgré l’appel il y a un an pour des lignes directrices d’utilisation des modèles de langage dans les applications de santé, des applications commerciales directement créées pour répondre à des questions sur la santé mentale sont disponibles sur les magasins d’application comme l’App Store ou Google Play.
Source : next.ink
@Raccoon a dit dans Santé mentale : des chercheurs alertent sur les réponses inappropriées des chatbots :
De plus en plus de personnes utilisent les chatbots comme ChatGPT à la place d’un rendez-vous chez un psychologue ou un psychiatre.
Tout est dit…
Les gens sont vraiment teubés bordel…
-
J’ai entendu dire aussi que ton niveau intellectuel baisse si tu es toujours à solliciter chatgpt au lieu de faire fonctionner ta cervelle de temps à autre.
3615 je raconte ma life
Un jour, je lisais sur JV.com un commentaire d’un troll à la con (là bas 99% des membres sont des gogoles donc la routine quoi) et donc ce troll voulait faire le malin en copiant simplement ce que chatgpt lui a dit de dire (pour faire croire que c’était sa propre réponse) mais là où c’était super drôle c’est qu’à la fin il prend le relais et écrit un truc du genre (pour exemple) :
“Wai mé cé toua qui fait peurs plutôt”…le mec s’est fait griller juste avec une seule phrase lol.
Pour en revenir au post, ce qui fait peur c’est que maintenant certains croient vraiment que Chatgpt est une personne donc ils sont là à raconter leur life à ChatGPT (pour eux, cet outil est un soutien mental)…ils le font dans les zozos sociaux alors pourquoi pas raconter sa vie à une ligne de code.
"Pour survivre à la guerre, il faut devenir la guerre"
John Rambo
-
J’ai entendu dire aussi que ton niveau intellectuel baisse si tu es toujours à solliciter chatgpt au lieu de faire fonctionner ta cervelle de temps à autre.
3615 je raconte ma life
Un jour, je lisais sur JV.com un commentaire d’un troll à la con (là bas 99% des membres sont des gogoles donc la routine quoi) et donc ce troll voulait faire le malin en copiant simplement ce que chatgpt lui a dit de dire (pour faire croire que c’était sa propre réponse) mais là où c’était super drôle c’est qu’à la fin il prend le relais et écrit un truc du genre (pour exemple) :
“Wai mé cé toua qui fait peurs plutôt”…le mec s’est fait griller juste avec une seule phrase lol.
Pour en revenir au post, ce qui fait peur c’est que maintenant certains croient vraiment que Chatgpt est une personne donc ils sont là à raconter leur life à ChatGPT (pour eux, cet outil est un soutien mental)…ils le font dans les zozos sociaux alors pourquoi pas raconter sa vie à une ligne de code.
@Psyckofox a dit dans Santé mentale : des chercheurs alertent sur les réponses inappropriées des chatbots :
certains croient vraiment que Chatgpt est une personne
Et le pire c’est qu’ils penseront que cette “personne” aura forcement raison, et fera preuve de lucidité et de bon sens en toute circonstance.
-
La sainte église de l’I.A.
Faites un don, l’I.A. vous le rendra
-
J’ai tiqué sur le “maladies mentales comme l’alcoolisme”, malgré la définition de l’OMS, mais passons.
J’ai été au contact de personnes de tous âges (16 à 62 ans) en insertion professionnelle dont une grosse partie avait en effet des problématiques liées à la santé mentale et/ou des addictions.
Quand tu n’as personne dans ta vie ou que ta propre famille était/est actrice ou complice de… diverses choses… je peux comprendre cette piste de l’IA.
Parce que, pour ce public que je connais un peu, en dehors des plus faibles, pour les autres c’est bien plus compliqué :- honte ou simplement pas de prise de conscience,
- pas de place (je suis en Corrèze, public pas mobile de surcroit),
- pas accessible (non, tout n’est pas gratuit en FRANCE),
- peur…
Donc oui, une “solution”, gratuite, depuis le smartphone, ça doit matcher.
Archlinux fanboy | rClone & datahoarder | https://upandclear.org
-
La partie Alcoolisme a été placée dans un topic séparé: https://planete-warez.net/topic/7235/alcolisme/
Hello! It looks like you're interested in this conversation, but you don't have an account yet.
Getting fed up of having to scroll through the same posts each visit? When you register for an account, you'll always come back to exactly where you were before, and choose to be notified of new replies (either via email, or push notification). You'll also be able to save bookmarks and upvote posts to show your appreciation to other community members.
With your input, this post could be even better 💗
S'inscrire Se connecter