Facebook se creuse le cerveau pour rendre la réalité augmentée familière

Stéphane Moussie |

Pour que la réalité augmentée s'impose dans nos vies quotidiennes, cette technologie doit sortir du cadre étriqué des smartphones. Si les lunettes sont le dispositif le plus logique pour afficher sans encombre des éléments virtuels dans le monde réel, se pose la question des interactions. Comment interagir avec ces objets virtuels sans se promener avec son smartphone dans les mains et sans prononcer à voix haute toutes sortes de commandes ? Facebook a sa petite idée.

Le Reality Labs Research du réseau social a imaginé des bracelets, nommés Bellowband et Tasbi, capables d'interpréter les gestes de la main. Contrairement aux contrôleurs des casques de réalité virtuelle, les bracelets n'utilisent pas des capteurs qui localisent la position des doigts. Ils tirent parti de l'électromyographie (EMG), c'est-à-dire l'étude de la conduction nerveuse dans le corps.

« Si vous envoyez une commande à vos muscles pour dire "je veux bouger mes doigts", cette commande part de votre cerveau puis traverse votre colonne vertébrale jusqu'aux motoneurones [qui actionnent les muscles, ndlr]. C'est un signal électrique que l'on peut analyser afin de savoir que l'utilisateur veut bouger son doigt », explique Nathalie Gayraud, chercheuse chez Facebook.

Dans la vidéo de présentation du projet, Facebook présente toute une gymnastique digitale permettant de contrôler des objets virtuels comme réels (à condition qu'ils soient connectés pour ces seconds) sans rien d'autre que ses mains. L'équivalent d'un clic sur une souris serait un pincement avec son pouce et son index. Des gestes que l'on réalise sur les écrans tactiles pourraient être effectués dans la paume de la main, comme un glissement latéral pour contrôler la luminosité d'une lampe. On pourrait même taper du texte sur une table sans clavier.

Outre son capteur EMG, le Bellowband comprend des soufflets pneumatiques produisant des vibrations et des pressions sur le poignet pour donner du corps, si l'on peut dire, aux interactions virtuelles.

Tout comme les lunettes de réalité augmentée de Facebook, les bracelets n'en sont qu'au stade du prototype. « Les interfaces neuromotrices sont magiques quand elles fonctionnent bien, et nous avons encore beaucoup de travail à faire dans ce domaine », déclare le neuroscientifique Thomas Reardon.

Si des expérimentations ont d'ores et déjà donné des résultats encourageants, les interactions et l'univers virtuel présentés dans la vidéo tiennent encore largement de la science-fiction. Il s'agit d'une vision sur dix ans, mais Facebook met véritablement la main à la pâte pour sortir la réalité augmentée de son cadre actuel.


avatar frankm | 

Tu m’étonnes qu’ils cherchent un truc sexy à faire avec ça. Et si possible un truc qui filme tout le temps ce serait parfait

avatar victoireviclaux | 

@frankm

Et dans les toilettes bien sûr

avatar Oliviou | 

Au moins ça donne des idées pour les films de SF...
Le problème numéro un que je vois dans leur idée, c’est que les mains, si elles ne sont pas mobilisées pas un objet (au hasard : un smartphone ou le clavier d’un ordinateur), feront des gestes « hors contexte » qui seront interprétés comme des commandes. Typiquement leur version du clic... Le pouce et l’index se touchent combien de fois par heure ?Mais même juste bouger les doigts, se gratter, etc, tous les gestes inconscients qu’on fait tout le temps... S’il faut maîtriser tous ses gestes pour pouvoir utiliser leurs bracelets, c’est mort. En admettant que leur techno fonctionne un jour, comment discerner les gestes « interface virtuelle » et les gestes « vie réelle » ? Je suis curieux de voir ça en vrai.

avatar Gagolak | 

Ça a du sens, tout est très (trop) familier chez FB.

avatar BLM | 

Mouais… Pour l'instant, c'est vraiment du baratin.
L'exemple de la frappe aveugle sur une table comme si on tapait au clavier… c'est du flan : même les secrétaires ont besoin pour placer leurs mains de sentir les légers reliefs présents sur les touches F et J, et taper sur un écran d'iPad est rapidement chiant comparé à l'efficacité apportée par le contact avec un vrai clavier. Comment le logiciel pourrait-il interpréter les lettres que l'humain veut saisir quand celui-ci ne sait pas où sont ces lettres ? À mon sens, au minimum, il faut un pseudo clavier projetée sur la table ; mieux encore, un retour haptique.
Le problème, à mon sens, réside non seulement dans la compréhension par l'interface de la commande voulue, mais aussi dans un retour sensoriel de ce qui est manipulé (C'est la raison pour laquelle je suis extrêmement réticent vis à vis de tout ce qui est commande tactile sur le tableau de bord des nouveaux véhicules : rien ne vaut un bon vieux bouton (si ce n'est qu'il faut un emplacement pour une commande, que cela manque de souplesse) ; être obligé de regarder l'écran pour comprendre ce que l'on fait, pour être certain que la commande a bien été saisie, est plutôt dangereux).
On ne peut pas, à mon sens, saisir ainsi des commandes «dans le vide» ; il faut un dispositif (lunettes ?) qui incruste dans le monde réel (réalité augmentée donc) des objets que l'on va "toucher", ET un retour son au minimum ou haptique pour chaque action.

avatar oomu | 

@BLM

ce sont des idées technologiques qui se cherchent un problème à résoudre.

avatar Terragon | 

Mignon sur papier mais totalement irréaliste! Et c’est Facebook... 🤢🤮

CONNEXION UTILISATEUR