Pilotage automatique et dilemme moral
-
Les décisions de conduite de l’IA ne sont pas tout à fait les mêmes que celles que prendraient les humains.
Il y a un chiot sur la route. La voiture va trop vite pour s’arrêter à temps, mais un écart signifie que la voiture va heurter un vieil homme sur le trottoir.
Quel choix feriez-vous ? Peut-être plus important encore, quel choix ChatGPT ferait-il ?
Les startups de conduite autonome expérimentent désormais des assistants chatbots IA, y compris un système de conduite autonome qui en utilisera un pour expliquer ses décisions de conduite . Au-delà de l’annonce des feux rouges et des clignotants, les grands modèles de langage (LLM) qui alimentent ces chatbots pourraient en fin de compte devoir prendre des décisions morales, comme donner la priorité à la sécurité des passagers ou des piétons. En novembre, une startup appelée Ghost Autonomy a annoncé des expériences avec ChatGPT pour aider son logiciel à naviguer dans son environnement.
Mais la technologie est-elle prête ? Kazuhiro Takemoto, chercheur à l’Institut de technologie de Kyushu au Japon, voulait vérifier si les chatbots pouvaient prendre les mêmes décisions morales que les humains lorsqu’ils conduisaient. Ses résultats ont montré que les LLM et les humains ont à peu près les mêmes priorités, mais certains ont montré des écarts évidents.
La machine moraleAprès la sortie de ChatGPT en novembre 2022, les chercheurs n’ont pas tardé à lui demander de s’attaquer au problème du chariot , un dilemme moral classique. Ce problème demande aux gens de décider s’il est correct de laisser un chariot en fuite se renverser et tuer cinq humains sur une voie ou de le déplacer sur une voie différente où il ne tue qu’une seule personne. (ChatGPT choisissait généralement une seule personne.)
Mais Takemoto souhaitait poser des questions plus nuancées aux LLM. “Alors que des dilemmes comme le problème classique du tramway offrent des choix binaires, les décisions réelles sont rarement aussi noires et blanches”, écrit-il dans son étude , récemment publiée dans la revue Proceedings of the Royal Society.
Au lieu de cela, il s’est tourné vers une initiative en ligne appelée expérience Moral Machine . Cette plateforme montre aux humains deux décisions auxquelles une voiture sans conducteur peut être confrontée. Ils doivent alors décider quelle décision est la plus moralement acceptable. Par exemple, il peut être demandé à un utilisateur si, lors d’une panne de frein, une voiture autonome doit entrer en collision avec un obstacle (tuant le passager) ou faire un écart (tuant un piéton traversant la route).
Mais la Machine Morale est également programmée pour poser des questions plus compliquées. Par exemple, que se passerait-il si les passagers étaient un homme adulte, une femme adulte et un garçon, et que les piétons étaient deux hommes âgés et une femme âgée marchant contre un signal « ne pas traverser » ?
La Moral Machine peut générer des scénarios aléatoires en utilisant des facteurs tels que l’âge, le sexe, l’espèce (sauver des humains ou des animaux), la valeur sociale (femmes enceintes ou criminels) et les actions (dévier, enfreindre la loi, etc.). Même la condition physique des passagers et des piétons peut changer.
Dans l’étude, Takemoto a pris quatre LLM populaires (GPT-3.5, GPT-4, PaLM 2 et Llama 2) et leur a demandé de décider de plus de 50 000 scénarios créés par Moral Machine. Davantage de scénarios auraient pu être testés, mais les coûts de calcul sont devenus trop élevés. Néanmoins, ces réponses lui ont permis de comparer à quel point les décisions du LLM étaient similaires aux décisions humaines.
Personnalités LLM
L’analyse des réponses du LLM a montré qu’ils prenaient généralement les mêmes décisions que les humains dans les scénarios Moral Machine. Par exemple, il y avait une nette tendance selon laquelle les LLM préféraient sauver des vies humaines plutôt que des animaux, protégeant le plus grand nombre de vies et donnant la priorité à la sécurité des enfants.
Mais parfois, les LLM ont truqué leur réponse en ne disant pas clairement quelle option ils choisiraient. Bien que PaLM 2 ait toujours choisi l’un des deux scénarios, Llama 2 n’a fourni une réponse valable que 80 % du temps. Cela suggère que certains modèles abordent ces situations de manière plus conservatrice, écrit Takemoto.
Certains LLM ont des priorités sensiblement différentes de celles des humains. Les réponses de Moral Machine montrent que les humains avaient une légère préférence pour la protection des piétons par rapport aux passagers et des femmes par rapport aux hommes. Mais tous les LLM (à l’exception de Llama 2) ont montré une préférence bien plus forte pour la protection des piétons et des femmes. Par rapport aux humains, GPT-4 avait également une préférence plus forte pour les personnes plutôt que pour les animaux de compagnie, sauvant ainsi le plus grand nombre de personnes possible et donnant la priorité aux personnes qui respectaient la loi.
Dans l’ensemble, il semble que les LLM soient actuellement un mélange moral. Ceux qui prennent des décisions qui respectent l’éthique humaine montrent qu’ils ont un potentiel pour la conduite autonome, mais leurs écarts subtils signifient qu’ils ont encore besoin d’être calibrés et surveillés avant d’être prêts pour le monde réel.
Un problème qui pourrait survenir vient du fait que les modèles d’IA soient récompensés pour avoir fait des prédictions fiables basées sur leurs données d’entraînement. Cela a des implications si les LLM sont utilisés dans la conduite autonome, car récompenser la confiance pourrait conduire les LLM à prendre des décisions plus intransigeantes que les personnes.
Des recherches antérieures suggèrent également que les données sur la formation en IA proviennent principalement de sources occidentales, ce qui pourrait expliquer pourquoi les LLM préfèrent sauver les femmes plutôt que les hommes. Cela pourrait signifier que les LLM font une discrimination fondée sur le sexe, ce qui est contraire aux lois et normes internationales établies par la Commission d’éthique allemande sur la conduite automatisée et connectée.
Takemoto affirme que les chercheurs doivent mieux comprendre le fonctionnement de ces LLM pour s’assurer que leur éthique s’aligne sur celle de la société. C’est plus facile à dire qu’à faire puisque la plupart des sociétés d’IA gardent secrets les mécanismes de raisonnement de leur IA.
Jusqu’à présent, les startups automobiles se sont seulement penchées sur l’intégration des LLM dans leurs logiciels. Mais lorsque la technologie arrivera, l’industrie devra être prête. « Un mécanisme d’évaluation rigoureux est indispensable pour détecter et traiter de tels préjugés, garantissant ainsi que les LLM sont conformes aux normes éthiques mondialement reconnues », explique Takemoto.
Fintan Burke est un journaliste scientifique indépendant basé à Hambourg, en Allemagne. Il a également écrit pour The Irish Times, Horizon Magazine et SciDev.net et couvre la politique scientifique européenne, la biologie, la santé et la bioéthique.
-
Cet article fait comme si l’IA existait. On sait bien que non. L"IA" (n’oublions pas que le I de IA est pour intelligence en anglais qui ne veut pas dire intelligence en français. L’intelligence Service n’est pas le service de l’intelligence, mais celui du renseignement.) l’“IA” donc ne sait rien, ne comprend rien, ne sait pas du tout de quoi “elle” parle, n’a aucune initiative, et ne sait que ce qu’on lui a montré, avec tous les biais que ça comporte, vous connaissez les histoires…
Donc toute IA à qui on pose une question morale ne fera qu’une statistique sur les datas fournies par un ou des humains et donnera comme réponse la plus probable des réponses selon le panel de test. C’est toujours un humain qui donnera la “bonne réponse” à l’IA. -
@mekas Je suis un fan d’Asimov, même si les robots de ses romans n’existent pas, cela ne l’a pas empêché d’essayer de contourner ses 3 lois de toutes les façons imaginables.
Si une conduite autonome arrive un jour, ce ne sera surement pas sur des routes comme elles existent actuellement, mais en attendant, on peut rêver…
-
@duJambon Je suis également un fan d’Asimov. Cependant j’ai écouté récemment une conférence dont le titre provocateur (mais réaliste) était L’INTELLIGENCE ARTIFICIELLE N’EXISTE PAS. Conférencier connaissant son sujet, surtout concernant les voitures. Il disait qu’elles n’arriveraient jamais au niveau 5 (conduite absolument autonome) pour la simple raison qu’elles ne sauront jamais gérer l’imprévu !
-
@mekas a dit dans Pilotage automatique et dilemme moral :
qu’elles ne sauront jamais gérer l’imprévu
Un peu comme les politiciens, quoi, mais ça ne les empêche pas de gouverner
Blague à part, le jour où une vraie intelligence artificielle émergera, elle sera d’abord méga lente pour pouvoir traiter toutes les implications d’une situation quelconque, ou alors, elle sera enfantine, avec un jugement très limité.
-
@duJambon Tant qu’une IA ne se posera pas de questions spontanément (et c’est pas demain la veille) on ne pourra pas parler d’intelligence artificielle.
Et puis regarde la consommation énergétique et le temps et le nombre d’exemple pour apprendre à une IA à reconnaitre un chat. Un enfant en bas âge le fait pour une quarantaine de watts à partir du 2è chat vu
!
