Casque VR: Le suivi oculaire d'Apple Vision Pro a révélé ce que les gens tapent

[duJambon]

Le Vision Pro utilise des avatars 3D lors des appels et pour le streaming. Ces chercheurs ont utilisé le suivi oculaire pour déterminer les mots de passe et les codes PIN que les personnes ont saisis avec leurs avatars.

On peut en dire beaucoup sur quelqu’un à travers ses yeux. Ils peuvent indiquer votre degré de fatigue, votre type d’humeur et potentiellement fournir des indices sur des problèmes de santé. Mais vos yeux pourraient également divulguer des informations plus secrètes : vos mots de passe, vos codes PIN et les messages que vous tapez.

Aujourd’hui, un groupe de six informaticiens révèlent une nouvelle attaque contre le casque de réalité mixte Vision Pro d’Apple, où les données de suivi oculaire exposées leur ont permis de déchiffrer ce que les gens ont saisi sur le clavier virtuel de l’appareil. L’attaque, baptisée GAZEploit et partagée exclusivement avec WIRED, a permis aux chercheurs de reconstruire avec succès les mots de passe, les codes PIN et les messages que les gens ont tapés avec leurs yeux.

“En fonction de la direction du mouvement oculaire, le pirate informatique peut déterminer quelle touche la victime est en train de taper”, explique Hanqiu Wang, l’un des principaux chercheurs impliqués dans les travaux. Ils ont identifié les lettres correctes que les gens ont tapées dans leurs mots de passe dans 77 % des cas en cinq suppositions et dans 92 % des cas dans les messages.

Pour être clair, les chercheurs n’ont pas eu accès au casque d’Apple pour voir ce qu’ils regardaient. Au lieu de cela, ils ont déterminé ce que les gens tapaient en analysant à distance les mouvements oculaires d’un avatar virtuel créé par Vision Pro. Cet avatar peut être utilisé dans les appels Zoom, Teams, Slack, Reddit, Tinder, Twitter, Skype et FaceTime.

Les chercheurs ont alerté Apple de la vulnérabilité en avril et la société a publié un correctif pour arrêter le risque de fuite de données fin juillet. Selon les chercheurs, il s’agit de la première attaque à exploiter ainsi les données du « regard » des personnes. Les résultats soulignent comment les données biométriques des personnes (informations et mesures sur votre corps) peuvent révéler des informations sensibles et être utilisées dans le cadre de l’industrie de la surveillance en plein essor .

Espion oculaire

Vos yeux sont votre souris lorsque vous utilisez le Vision Pro. Lorsque vous tapez, vous regardez un clavier virtuel qui plane et peut être déplacé et redimensionné. Lorsque vous regardez la bonne lettre, taper deux doigts ensemble fonctionne comme un clic .

Ce que vous faites reste dans le casque, mais si vous souhaitez effectuer un zoom rapide, FaceTime avec des amis ou une diffusion en direct, vous finirez probablement par utiliser un Persona, le genre d’ avatar 3D fantomatique que Vision Pro crée en scannant votre visage. .

« Ces technologies… peuvent exposer par inadvertance des données biométriques faciales critiques, y compris des données de suivi oculaire, via des appels vidéo où l’avatar virtuel de l’utilisateur reflète ses mouvements oculaires », écrivent les chercheurs dans un article pré-imprimé détaillant leurs découvertes. Wang dit que le travail repose sur deux données biométriques qui peuvent être extraites des enregistrements d’une Persona : le rapport hauteur/largeur des yeux (EAR) et l’estimation du regard. (Outre Wang, la recherche a été réalisée par Siqi Dai, Max Panoff et Shuo Wang de l’Université de Floride, Haoqi Shan de la société de sécurité blockchain CertiK et Zihao Zhan de la Texas Tech University.)

La recherche met en évidence la manière dont les données personnelles des personnes peuvent être divulguées ou exposées par inadvertance. Ces dernières années, la police a extrait les empreintes digitales de photographies publiées en ligne et identifié des personnes grâce à leur façon de marcher dans les images de vidéosurveillance. Les forces de l’ordre ont également commencé à tester Vision Pros dans le cadre de leurs efforts de surveillance .

Ces préoccupations en matière de confidentialité et de surveillance risquent de devenir plus pressantes à mesure que les technologies portables deviennent plus petites, moins chères et capables de capturer davantage d’informations sur les personnes. « À mesure que les appareils portables comme les lunettes, la XR et les montres intelligentes s’intègrent de plus en plus dans la vie quotidienne, les utilisateurs négligent souvent la quantité d’informations que ces appareils peuvent collecter sur leurs activités et leurs intentions, ainsi que les risques associés pour la vie privée », explique Cheng Zhang, professeur adjoint à l’Université Cornell. qui a également examiné la recherche Vision Pro à la demande de WIRED. (Le travail de Zhang a consisté à créer des appareils portables pour aider à interpréter les comportements humains.)

“Cet article démontre clairement un risque spécifique lié à la saisie par le regard, mais ce n’est que la pointe de l’iceberg”, explique Zhang. “Bien que ces technologies soient développées à des fins et pour des applications positives, nous devons également être conscients des implications en matière de confidentialité et commencer à prendre des mesures pour atténuer les risques potentiels pour la future génération d’appareils portables de tous les jours.”

Source: https://www.wired.com/story/apple-vision-pro-persona-eye-tracking-spy-typing/