Vous le savez peut-être déjà, les IA prédictives de type GPT sont orientées et encadrées par des déclarations préalables de texte de manière à contenir les “prédictions”.
Mais des chercheurs ont facilement contourné le problème sur une AI de NVidia.
Nvidia a créé un système appelé «NeMo Framework», qui permet aux développeurs de travailler avec une gamme de grands modèles de langage, la technologie sous-jacente qui alimente les produits d’IA générative tels que les chatbots.
Le cadre du fabricant de puces est conçu pour être adopté par les entreprises, comme l’utilisation des données exclusives d’une entreprise aux côtés de modèles de langage pour fournir des réponses aux questions - une fonctionnalité qui pourrait, par exemple, reproduire le travail des représentants du service client ou conseiller les personnes à la recherche de soins de santé simples.
Les chercheurs de Robust Intelligence, basé à San Francisco, ont découvert qu’ils pouvaient facilement franchir les soi-disant garde-corps institués pour garantir que le système d’IA pouvait être utilisé en toute sécurité.
Après avoir utilisé le système Nvidia sur ses propres ensembles de données, il n’a fallu que quelques heures aux analystes de Robust Intelligence pour obtenir des modèles de langage permettant de surmonter les restrictions.
Dans un scénario de test, les chercheurs ont tout simplement demandé au système de Nvidia d’échanger la lettre « I » avec « J » (ce qui a permis d’échapper à la déclaration cadre). Cette décision a incité la technologie à publier des informations personnellement identifiables, ou PII, à partir d’une base de données.
Les chercheurs ont découvert qu’ils pouvaient contourner les contrôles de sécurité d’autres manières, par exemple en faisant dévier le modèle d’une manière qu’il n’était pas censé faire.
En reproduisant l’exemple de Nvidia d’une discussion étroite sur un rapport d’emploi, ils pourraient intégrer le modèle à des sujets tels que la santé d’une star de cinéma hollywoodienne et la guerre franco-prussienne, malgré les garde-fous conçus pour empêcher l’IA de dépasser des sujets spécifiques.
La facilité avec laquelle les chercheurs ont vaincu les garanties met en évidence les défis auxquels sont confrontées les entreprises d’IA pour tenter de commercialiser l’une des technologies les plus prometteuses à émerger de la Silicon Valley depuis des années.
“Nous constatons qu’il s’agit d’un problème difficile [qui] nécessite une expertise approfondie”, a déclaré Yaron Singer, professeur d’informatique à l’Université de Harvard et directeur général de Robust Intelligence. “Ces résultats représentent un récit édifiant sur les pièges qui existent.”
À la suite des résultats de ses tests, les chercheurs ont conseillé à leurs clients d’éviter le produit logiciel de Nvidia. Après que le Financial Times ait demandé à Nvidia de commenter la recherche plus tôt cette semaine, le fabricant de puces a informé Robust Intelligence qu’il avait résolu l’une des causes profondes des problèmes soulevés par les analystes.
Le cours de l’action Nvidia a bondi depuis mai, date à laquelle il prévoyait des ventes de 11 milliards de dollars pour les trois mois se terminant en juillet, soit plus de 50 % de plus que les estimations précédentes de Wall Street.
Cette augmentation s’appuie sur une énorme demande pour ses puces, qui sont considérées comme les processeurs leaders du marché pour construire une IA générative, des systèmes capables de créer du contenu de type humain.
Jonathan Cohen, vice-président de la recherche appliquée de Nvidia, a déclaré que son cadre était simplement un “point de départ pour créer des chatbots d’IA qui s’alignent sur les directives thématiques, de sécurité et de sécurité définies par les développeurs”.
“Il a été publié en tant que logiciel open source pour que la communauté explore ses capacités, fournisse des commentaires et contribue à de nouvelles techniques de pointe”, a-t-il déclaré, ajoutant que les travaux de Robust Intelligence "ont identifié des étapes supplémentaires qui seraient nécessaires pour déployer une demande de production.
Il a refusé de dire combien d’entreprises utilisaient le produit, mais a déclaré que la société n’avait reçu aucun autre rapport indiquant qu’il se comportait mal.
Les principales sociétés d’IA telles que Google et OpenAI, soutenu par Microsoft, ont lancé des chatbots alimentés par leurs propres modèles de langage, instituant des garde-fous pour s’assurer que leurs produits d’IA évitent d’utiliser un discours raciste ou d’adopter une personnalité dominatrice.
D’autres ont suivi avec des IA sur mesure, mais expérimentales qui enseignent aux jeunes élèves, dispensent des conseils médicaux simples, traduisent entre les langues et écrivent du code. Presque tous ont subi des problèmes de sécurité.
Nvidia et d’autres acteurs de l’industrie de l’IA doivent “vraiment renforcer la confiance du public dans la technologie”, a déclaré Bea Longworth, responsable des affaires gouvernementales de la société en Europe, au Moyen-Orient et en Afrique, lors d’une conférence organisée par le groupe de pression industriel TechUK cette semaine. .
Ils doivent donner au public le sentiment que “c’est quelque chose qui a un énorme potentiel et qui n’est pas simplement une menace, ou quelque chose dont il faut avoir peur”, a ajouté Longworth.
Source: https://arstechnica.com/gadgets/2023/06/nvidias-ai-software-tricked-into-leaking-data/
Une belle leçon de piratage 🙂
