On peut se sentir un peu à l’étroit dans la surface étriquée d’un petit écran de smartwatch. Avec Force Touch, Apple a tenté d’apporter une couche d’interaction supplémentaire, mais il est possible d’aller tellement plus loin. Comme par exemple… faire de son bras une extension de l’écran ! C’est l’expérience, assez épatante, que l’on peut voir dans la vidéo ci-dessous.

La technologie SkinTrack, développée par une équipe de l’université Carnegie Mellon, comprend un anneau à porter au doigt qui sert de pointeur. Il émet un signal haute fréquence qui traverse le corps et qui est analysé en continu par le bracelet contenant de multiples électrodes. Ces signaux permettent à l’ordinateur de calculer la position 2D du doigt ; les événements tactiles sont interprétés avec une précision de 99%, tandis que l’interprétation de la position du doigt affiche une marge d’erreur de 7,6 mm.

Ensuite, c’est le logiciel qui fait le reste, et là l’imagination est au pouvoir. Les tests réalisés par l’équipe donnent une bonne idée de ce qu’il est possible d’accomplir, comme par exemple « sortir » des applications de l’écran pour les placer virtuellement sur le bras, saisir un numéro de téléphone en tapotant sur la main, ou… tirer sur l’élastique d’un piaf en colère d’Angry Birds.

Le tout a été imaginé pour être bon marché et facile à intégrer dans une montre connectée.