Apple détaille les gestes et les manipulations dans visionOS
Pour Apple, les interactions oculaires et gestuelles avec le Vision Pro sont à classer dans la même catégorie que la souris pour le Mac, la molette tactile pour l'iPod ou l'écran multitouch pour l'iPhone : un nouveau paradigme pour manipuler une interface. Si les yeux permettent de pointer précisément les éléments de l'interface de visionOS, les doigts servent à cliquer et à saisir ces mêmes éléments.
Apple a mis au point plusieurs gestes qui demanderont probablement un peu d'entraînement pour les utiliser naturellement. Dans une session de la WWDC, le constructeur détaille ces gestes : cliquer, double-cliquer, maintenir, glisser, zoomer, effectuer une rotation. Ce panneau regroupe tous les gestes en question :
Le zoom dans une image s'annonce particulièrement saisissant : le geste va agrandir la photo à partir de l'endroit où les yeux se sont posés. Autre exemple de cette symbiose entre les yeux et les doigts : le curseur d'un outil (un feutre par exemple) se place à l'endroit du regard après un clic, ce qui permet de le contrôler très facilement.
Le suivi des yeux n'est pas seulement utilisé pour cibler des éléments, il fournit aussi une plus grande granularité de localisation pour les interactions.
visionOS peut également prendre en compte des interactions directes permettant d'interagir avec une surface virtuelle, qu'il s'agisse d'une page web pour scroller dans son contenu, ou encore pour taper sur le clavier virtuel. Il est même possible de « prendre » un objet entre les mains pour l'agrandir.
Les interactions avec les applications dans visionOS ne seront évidemment accompagnées d'aucun retour tactile. Pour compenser, Apple recommande de s'inspirer des objets réels et de leur fonctionnement via des animations (comme les touches d'un clavier qui s'enfoncent) et des sons (le bruit des touches).
Vision Pro : la réalité mixte peut-elle être rendue accessible ?
@Tibimac
Je ne pense pas que le but soit d'augmenter la "productivité", en tout cas pas à ce stade.
vivement la v2 deja pour l'ajout des retours haptiques dans le casque et grace pk pas à l'Apple Watch ou un autre petit gadget juste pour cela, j'espère qu'Apple incitera un peu les devs pour les jeux car ce casque à une puissance de dingue et les experiences VR serait une dinguerie comparé aux autres. Perso je pense quand même qu'on vient d'assister à une keynote historique
Apple va pouvoir au fur à mesure démocratiser l'usage de cet ordi spatial , pour les gestes sur le Mac, c'est different, tout les youtubeurs américains ont dit que comme dans la video on peut faire des petits gestes discret en gardant son bras posé sur nos jambes ou le long du corps, car le casque analyse tout notre squelette , et peut tout voir à 120 degrés pour les gestes, pour beaucoup, ce que l'on à vu dans l'event n'était pas embelli par Apple , mais plutôt surement un direct feed du casque tellement ce qu'ils ont experimenter était vraiment pareil ...
impatient de tester la V1 c'est evident. Je suis quasi sur que les batteries externes tierces marcheront pour fournir du jus au casque comme la 737 de Anker que j'ai et qui recharge en charge rapide un MacBook 16 M2 Max ( supporte 140 watts max et pas si énorme que cela )
Y a-t-il eu des détails sur l’accessibilité dans les sessions dédiées à VisionOS ?
Je pense aux personnes atteintes de maladies neurologiques type Parkinson, le système pourrait-il facilement distinguer les tremblements involontaires de gestes intentionnels ? Ou encore pour les personnes atteintes de dyschromatopsie, le système pourrait-il étalonner les couleurs de l’environnement réel pour permettre à ces personnes de voir normalement ?
Merci à toute l’équipe pour votre travail de suivi sur cette WWDC 👍🏻
@Kal1988
J’allais poster la même chose. Apple a toujours été en avance la dessus mais j’ai peur que ce casque laisse des personnes sur le côté. Lunettes, strabismes, élocution, mouvements… la VR c’est formidable, immersif mais loin d’être inclusif.
@xavier25
👍👍👍
@Kal1988
Oui il y a des détails auxquels on a accès dans l’App Developer sur l’accessibilité mais pour le moment Apple ne semble pas avoir donné de solutions pour circonvenir des problèmes ou détecter des affections mais je parierai ma tête qu’Apple va mettre aussi le paquet là dessus.
Un extrait de la session « Create accessible spatial experiences »
« We've reimagined our flagship assistive technologies specifically for spatial computing » et pour le moment sont pris en compte « Dynamic Type support, Increase Contrast, and Spoken Content features »
Comme le dit très bien @Furious Angel « Après la souris, la clickwheel et l’écran multitouch, c’est peut-être la nouvelle révolution d’interface lancée par Apple. On a tendance à sous-estimer ça mais c’est essentiel. »
Apple sait très bien que les marges de progression pour l’iPhone, l’iPad, les Mac sont maintenant très faible. En créant littéralement le device du futur qui ne se limitera pas à un casque, mais finira par évoluer en lunettes voir en lentilles, Apple compte bien se positionner comme un acteur majeur du futur grand type de device. Après les mini ordinateurs, puis le micro ordinateur, puis le smartphone, place à l’ordinateur spatial et comme dans toutes les révolutions, tout ne va pas se faire en un jour, mais pour autant, les acteurs du précédent « monde » ne disparaîtront pas, mais verront leur importance diminuer comparativement à l’ampleur que prendront leur « remplaçant ».
Contrairement aux autres acteurs, Apple privilégie et invente une nouvelle grammaire, ces gestes et manipulations qui permettent/permettront de se passer de plus en plus de périphériques et
n’utilise plus qu’à la marge — pour tous ceux dont la plasticité cérébrale n’est plus très importante / pour les usages qu’Apple n’a pas encore envisagé — des contrôleurs/périphériques.
Le seul intérêt, temporaire, d’utiliser des contrôleurs/périphériques, c’est de permettre de comprendre, à partir d’exemples existants qu’on peut faire certaines choses et comment le faire.
L’étape d’après, c’est la virtualisation des contrôleurs/périphériques, mais il faudrait arriver, pour bien faire, à avoir un retour de force.
Là encore, le retour de force n’est peut-être pas obligatoire car j’entendais lors d’une conférence que les chirurgiens considéraient que depuis toujours c’était la pulpe du doigt qui était directement « reliée » au cerveau pour un chirurgien tout autant que la vision, mais que grâce a la plasticité cervicale, en utilisant des nouveaux robots, le retour de force, cédait la place à la Vision…
Merci pour vos réponses et commentaires @xavier25 & @zypic et pour le lien vers l'article @Mickaël Bazoge 👍🏻
C’est joli mais superflu.
La Wii est tombée dans l’oubli.
Plus personne n’irait jouer à Kinect ou au PS VR.
Un contrôle a besoin de précision et d’un minimum de feed-back. L’écran passe car le tactile marche encore au toucher. Manipuler du vide oubliez.
Le coup du clavier : MDR.
@Dziga_Vertox
Je pensais tout comme vous, que le feed-back, le retour de force était obligatoire…
J’ai commencé à changer d’avis, après avoir écouté une conférence d’un chirurgien réputé qui expliquait que pour lui comme pour d’innombrables générations de chirurgien le retour d’information par le biais du toucher était indispensable, MAIS, il s’était rendu compte que grâce a la plasticité cervicale, les chirurgiens qui opéraient grâce a des robots développaient littéralement un sixième sens et n’avaient pas besoin de ce feed-back tactile.
Alors, je ne dis pas que le feed-back tactile est absolument indispensable ou indispensable pour avoir une super précision, car le cas cité ci-dessus contrevient à cette assertion…
Pour autant, l’avenir nous dira si on devra virtualiser a minima des outils ou si on pourra même se passer de les virtualiser comme dans la vidéo où on écrit Hello.
@zypic
Vous avez raison mais je ne pense pas que la virtualité soit un souci. On peut toujours écrire, taper ou dessiner sur une table parce que c’est actions nécessite une table, un support. Par contre elle a un avantage économique indéniable.
@Dziga_Vertox
Les chirurgiens qui opèrent avec des robots ont des années d'entraînement intensif pour développer ce "6ème sens". C'est pas tout à fait du niveau "grand public".
C'est comme si tu disais "oui, on peut prendre les virages à fond, les pilotes de chasse encaissent bien 5 à 9 G après tout".
Oui ce n'est pas pour rien que les autres fabricants de casque ont des outils pour manipuler car rester les bras en l'ait s'est imprécis et fatigant..
@rikki finefleur
Les autres fabricants ont quelques maigrelettes caméra… Apple, en a logé, entre autres composants, 12, dont 2 vers le bas… On peut donc laisser reposer ses bras sur ses cuisses ou sur une table, donc beaucoup moins de fatigue.
Pour ce qui est de l’imprécision, écrire, Hello, dessiner un cœur… Ça ne me paraît pas si imprécis que ça
C'est sûr que pour écrire ou dessiner quelque chose, le doigt est encore ce qu'il y a de plus précis...
Essayez de dessiner votre nom en formant le tracé souhaité avec votre regard, le résultat risque d'être assez aléatoire 🫤
A voir ! car les contrôleurs permettent de se déplacer rapidement et précisément.
C’est certainement super bien pensé. Cependant j’aimerai qu’on me montre ce que ça apporte de nouveau que plutôt une autre façon de faire la même chose. Pour dessiner, on a rien trouvé de mieux qu’un crayon(numérique), pour pointer qu’une souris et que pour taper du texte un clavier physique. (Et puis vous avez intérêt à être doué pour dessiner dans l’espace un cœur)
Et pourtant je vois des possibilités nouvelles dans la manipulation des images, leur visionnage, trie,… ils ont qu’un regarder minority report 😜
Même si le suivi du regard semble naturel et précis, je peux vous assurer que ça nécessite un véritable entraînement. On n'imagine pas le nombre de mouvements parasites que font les yeux sans même qu'on en ait conscience. Je suis impatient de tester pour voir comment Apple a réussi à "filtrer" ces mouvements oculaires réflexes pour éviter des mouvements erratiques du curseur.
De la même facon, je suis curieux de tester l'utilisation d'un clavier (physique et à fortiori virtuel), que l'on aura le réflexe (voire la nécessité pour le virtuel) de regarder par intermittence, avec le regard donc qui ira de haut en bas potentiellement plusieurs fois par secondes ... si le curseur suit ces mouvements ça risque d'être vite insupportable.
@r e m y
L'AI sera justement capable de faire le tri et réduire le "bruit de fond" en temps réel. L'objet apprendra chaque mimique et chaque mouvement parasite des utilisateurs, individuellement.
Ça ne se fera pas du jour au lendemain mais ça se fera, j'en suis convaincu.
C'est tout de même bizarre que tout le monde se focalise sur le prix. Pourtant il est bien estampillé PRO. Donc pas grand public. Je crois que c'est judicieux de la part d'Apple de procéder ainsi. Parce que quand ils sortiront l'Apple Vison donc grand public, à un prix moindre, psychologiquement les gens vont se l'arracher au vue des possibilités qu'il offre. Le point fort de ce produit, et c'est une constante chez Apple, c'est la facilité déconcertante de son utilisation. Bref l'interface homme/machine comme seul Apple est capable de le réussir pour tous les nouveaux produits qu'il lance. Je me souviens du lancement du Mac en 1984 par Steve Jobs, il était inaccessible (prix équivalent à 7000 Euros de nos jours). Et pourtant... c'est à partir du Mac Classic que sa démocratisation a commencé je crois. Un point m'intrigue cependant, comment fonctionne l'écran d'un MacBook cloné en AR? La démo montre clairement que c'est pas encore au point autrement ils auraient insisté dessus. A moins qu'il fonctionne comme l'utilisation d'un iPad comme second écran?? Le Vision avec son M2 étant équivalent à un iPad.
Si comme tu le suggères ils le nomment, pour le grand public, Apple Vison... ça donne quand même une idée du prix! 😊
Pour la facilité d utilisation déconcertante... je suis impatient de tester. Car les démos donnent envie, mais connaissant bien les problèmes d'ergonomie de ce genre de casque (dans le domaine pro) je m'interroge quand même sur le choix fait d'utiliser le suivi du regard.
Pour pointer des documents, des objets... pourquoi pas. Mais les manipuler, ne serait-ce que les déplacer précisément , je crains que ce ne soit pas aussi simple.
Quant à utiliser le regard pour déplacer précisément le curseur (dessiner, écrire...), là je sais que ce n'est pas possible (essayez par exemple, devant vous dans le vide, d'écrire votre nom même en très grosses lettres en le traçant du regard).
Je me pose également des questions sur la façon dont Apple arrive à filtrer les mouvements erratiques du regard (de façon permanente et inconsciente) pour que le curseur ne passe pas son temps à sauter à droite à gauche. (Par exemple quand vous lisez un texte, vous avez le sentiment d un déplacement linéaire du regard en suivant les lignes de texte. Dans les faits le regard se déplace par sauts, pointe en avance sur les mots et les lignes suivantes, revient sur un mot précédent... il n'est quasiment jamais sur le mot que vous êtes en train de "lire". Utiliser son regard pour contrôler précisément un pointeur nécessite un sérieux entraînement et amène rapidement de la fatigue des muscles oculaires)
Bref plein de questions auxquelles j'aimerais pouvoir répondre en le testant.
Pour l'instant, pour moi, ce casque est une merveille de technologie, hors de prix, dont les usages ne sont pas vraiment définis (sauf pour certains usages grand public, mais le niveau de prix n'est pas cohérent avec ce genre d'usage). Je crois que je vais en acheter un mais comme je peux acheter une œuvre d'art. Ca ne sert à rien mais c'est superbe 🥰
@r e m y
Pourquoi pensez vous que ça sert à rien ? C’est nouveau et ça fait comme un ordinateur, il faut juste attendre le temps d’une certaine adaptation.
Tant que je n'ai pas pu tester, je ne crois pas que ça puisse remplacer un ordinateur, en tous cas pas de façon aussi confortable (très gros doute sur la capacité à piloter le pointeur avec le regard de façon aussi facile qu'avec une souris). Sans compter qu'on n'a aucune idée des capacités de stockage... personne n'a parlé du moindre SSD dans le Vision Pro.
Donc pour l'instant, je ne vois aucun véritable usage, mais je changerai peut-être d'avis quand j'aurai pu tester.
En tous cas il me tarde de tester. Dès qu'il sera en vente aux USA je m'en procurerai un.
Pages