Le suivi des yeux du Vision Pro pouvait révéler une partie des textes tapés au clavier

Un groupe de chercheurs a démontré qu'il était possible de deviner en bonne partie ce que l'utilisateur d'un Vision Pro tape sur son clavier virtuel, par l'observation du mouvement des yeux. Obligeant Apple à une petite modification.

En avril dernier, six chercheurs de l'Université de Floride, de Texas Tech et de l'entreprise CertiK, ont détaillé auprès d'Apple la manière dont ils s'y étaient pris pour estimer, avec un taux de réussite relativement élevé, les lettres que l'utilisateur d'un Vision Pro tape sur son clavier virtuel. Ils ont utilisé pour cela l'affichage du Persona spatial, ainsi que l'a baptisé Apple. Cette représentation photoréaliste du visage qui peut servir d'avatar lors d'appels en FaceTime ou avec toutes sortes d'apps de visioconférence comme Zoom, Slack ou Teams.

Baptisée GAZEploit leur méthode a consisté à analyser le parcours des yeux pendant une frappe au clavier — il a fallu d'abord estimer la position de ce celui-ci dans l'espace, face à son utilisateur, et ses dimensions. Un réseau neuronal a été également entrainé avec quelques dizaines d'utilisateurs de Vision Pro pour lui apprendre à repérer les moments où une personne tape sur son clavier virtuel puis détecter des schémas récurrents lorsque le regard se fixe sur les touches. Les yeux n'ont pas le même comportement lorsqu'ils regardent une vidéo ou parcourent une page web que lorsqu'ils visent une touche. Il y a une forme de concentration bien particulière, on a tendance à moins cligner des yeux pendant cette activité.

Au bout de 5 essais, il leur a été possible de déterminer avec exactitude les lettres tapées avec un taux de 92,1 % pour des messages, 77 % pour des mots de passe, 86,1 % pour des url ou adresses de courrier électronique et 73 % pour un code PIN. Les erreurs de frappe et les doublons ont posé quelques difficultés supplémentaires à l'équipe.

Ce n'était pas du 100 % mais c'était suffisamment efficace pour amener Apple à apporter une modification en juillet dernier dans visionOS 1.3. Elle est toute simple : l'affichage du Persona est suspendu pendant toute la durée d'une frappe au clavier, évitant ainsi toute analyse d'un mouvement.