Les AirPods Pro ouvrent de nouveaux horizons en matière de réalité augmentée

Nicolas Furno | 01/10/2020 à 08:52

Les AirPods Pro intègrent un accéléromètre, ce qui a permis à Apple d’ajouter l’audio spatial dans iOS 14. Une fois activé, le son reste fixé dans l’espace autour de vous, comme ce serait le cas si vous utilisez des enceintes. Mais Apple n’a pas gardé cette idée pour elle, les développeurs peuvent exploiter les données fournies par les AirPods Pro et enrichir leurs apps.

Pourquoi faire ? En attendant les exemples concrets, les développeurs ont commencé à jouer avec l’API fournie par Apple et le moins que l’on puisse dire, c’est que les possibilités sont grandes. Comme le montre cette vidéo, le suivi est très précis et réactif, ce qui est essentiel pour créer des expériences réalistes.

Vidéo publiée par @ConcreteSciFi.

Les mêmes développeurs ont eu l’idée de combiner cette information à des données liées à l’environnement pour suivre l’utilisateur dans l’espace. Dans cet exemple, l’orientation des AirPods est suivie précisément sur la tête de l’utilisateur, mais il est aussi possible de déterminer sa position dans le magasin.

Positional Tracking on the AirPods Pro!

By applying the AirPods Pro’s Motion Data to @navisens’ motion mapping web SDK, we’re able to obtain both head tracking and positioning, upgrading the AirPods Pro from 3DoF to 6DoF!https://t.co/VttNs3zUj7 pic.twitter.com/Y18kqAh24Z
— Ukaton (@ConcreteSciFi) September 30, 2020

Ces premiers essais montrent que les AirPods Pro pourraient avoir toute leur place dans un environnement de réalité augmentée. Imaginez un audioguide dans un musée où la position des visiteurs est suivie par une app qui pourrait même savoir précisément quelle œuvre est regardée par le visiteur à tout moment, et lancer la bonne piste audio en fonction de ces deux paramètres.

Ce concept de réalité audio augmentée a été testé par Bose, une expérience qui n’avait pas duré deux ans. Pour l’avoir testée avec le casque Heaphones 700, il faut dire que l’expérience n’était pas du tout au point, probablement faute d’un matériel suffisamment précis. D’après ce que l’on voit avec ces premières vidéos, ce ne sera pas un problème pour les AirPods Pro.

Bose avait eu la même idée qu’Apple, mais sa réalité augmentée audio n’avait pas la précision nécessaire pour offrir une expérience réaliste. Le constructeur a abandonné ses recherches dans ce domaine en début d’année.

Les développeurs d’apps peuvent aussi utiliser les API liées aux AirPods Pro pour créer un environnement spatial enveloppant et réaliste, ce qui pourrait avoir tout son sens dans un jeu. C’est d’autant plus utile que le système proposé par iOS 14 permet de suivre la position des écouteurs et celle de l’iPhone ou iPad utilisé, ce qui permet de donner l’illusion que le son vient de l’appareil.

Un autre développeur propose sur GitHub une démonstration des capacités de cette API. Si vous avez des AirPods Pro et que vous savez coder en Swift, vous pouvez l’utiliser comme base pour découvrir cette nouveauté d’iOS 14.

Pour aller plus loin :

Les AirPods et l’audition au cœur des nouveautés d’accessibilité d’iOS 14

Le premier casque VR/AR d'Apple serait un coûteux produit de niche

iFixit : les AirPods Max évoquent une montre mécanique plutôt qu'un casque

Des cas d'AirPods Max qui se déchargent trop vite

Concepts : des idées d'apps, cadrans et widgets pour watchOS 8

BooBoo | 01/10/2020 à 08:59

Impressionnant le suivi sans latence !!

romgiotti | 01/10/2020 à 09:05

« Imaginez un audioguide dans un musée où la position des visiteurs est suivie par une app qui pourrait même savoir précisément quelle œuvre est regardée par le visiteur à tout moment, et lancer la bonne piste audio en fonction de ces deux paramètres. »

Ça existe depuis... allez, 20 ans. Mon premier musée à Varsovie trackait les casques des utilisateurs et chacun avait une piste différente selon l’œuvre et la langue détectée.

raoolito | 01/10/2020 à 09:56

@romgiotti

nope pas à ce point. On parle ici d’une localisation dans l’espace directmeent lié à des écouteurs.
la comparaison est exacte dans l’article: imaginez deux hautparleur posés au sol. L’un au pied d’un tableau d’un coté du couloir avec des sons de bataille (bataille napoeonnienne) et l’autre de l’autre coté avec des sons d’ocean (radeau de la meduse)
dans la réalité, vous vous tourneriez vers l’un pour avoir le son d’un coté, plus fort dans l’oreille droite que la gauche, logique, et si vous vous tourniez, ce serait inversé.
He ben ici c’est exactement pareil. Mais avec des airpods, sans un bruit dnas la piece et suivant les specs du visiteur.

C’est une forme de tracking de casque si vous voulez, mais beaucoup plus fin, on peut dire « tracking par ecouteur avec position dans l’espace en 3 dimensions »
tout de suite ca change l’immersion

romgiotti | 01/10/2020 à 09:59

@raoolito

J’y suis retourné en 2017 dans ce musée et oui c’est à ce point voir même plus. La voix dans l’audio guide te repère sans que tu dises rien. T’arrives devant une œuvre t’entends « je vois que ce char russe vous intéresse, laissez moi vous raconter son histoire »

T’es repéré dans l’espace et dans le temps.

Kriskool | 01/10/2020 à 09:20

L’audio spatial est donc activé ? Je n’ai pas vu de différence sur un film en Dolby Atmos. Est-ce uniquement sur les films diffusés sur iPad ou aussi sur Apple TV ?
Merci de vos réponses (a ceux qui savent )

SebKyz | 01/10/2020 à 09:37

@Kriskool

Essais les bandes annonces sur iTunes

Alexg78bis | 01/10/2020 à 09:44

@Kriskool

Tu peux essayer sur les films et série Apple TV+ et sur Disney+
(Il faut aussi un appareil compatible. Mon iPad Pro 2017 ne l’est pas. Mais mon iPhone XS Max l’est)
🤠

Kriskool | 01/10/2020 à 09:53

@Alexg78bis

Merci et sur l’iPhone SE 2ème gen et l’Apple TV ça fonctionne ?

Y’a t’il un régalage à faire au niveau des AirPods Pro ?

Alexg78bis | 01/10/2020 à 09:58

@Kriskool

Je ne peux pas vérifier que iPhone SE 2020 mais d’après le site d’Apple ça devrait être ok

https://support.apple.com/fr-fr/HT211775

Cependant non ça n’est malheureusement pas compatible avec l’Apple TV :/

Kriskool | 01/10/2020 à 10:01

@Alexg78bis

Merci pour le lien ! Quel dommage pour l’Apple TV !!! C’était une solution géniale pour regarder des films en spatial sans déranger ceux qui dorment... c’est bien Apple ..! 😞😞

Alexg78bis | 01/10/2020 à 10:04

@Kriskool

Oui mais malheureusement il me semble que pour cette fonction ça utilise aussi le gyroscope/accéléromètre de ton iPhone (comme ça si tu bouge ton iPhone sans bouger ta tête ça s’adapte) et donc si c’est bien ça, l’Apple TV n’as pas ces capteurs. Après au final quand on voit ce qu’il est possible de faire avec accéléromètre des AirPods seul et sachant que y’a TV n’est pas censé se déplacer 😅 c’est vrai que c’est étrange cette limitation

dodomu | 01/10/2020 à 10:08

@Kriskool

Je pense que c’est du au fait que l’Apple TV n’a pas de capteur pour suivre son positionnement dans l’espace, mais je trouve ça un peu chiche si c’est le cas, car la télé ne bougera pas...

passingphantom | 01/10/2020 à 11:16

@Kriskool

Salut! Ça fonctionne avec mon iPhone SE2. Pour l'Apple TV, je dispose d'une Apple TV 4g, donc, pour elle non. Je ne sais pas concernant l'Apple TV 4k connectée à une télé 4k. Lors du Keynote de juin, la fonctionnalité avait été décrite comme compatible, mais bon.

mixemall | 01/10/2020 à 09:53

@Kriskool

J’ai testé le meme film (Ready Player One) sur Apple Tv et iPhone et ça n’a pas l’air de fonctionner sur Apple TV. L’effet est plutôt cool sur iPhone.

Kriskool | 01/10/2020 à 09:54

@mixemall

Merci de la réponse

Lecorbubu | 01/10/2020 à 09:51

Impressionnant, une fois encore impossible de ne pas penser aux futures Glass lorsque l’on découvre ces petites avancées successives. Là encore Apple est probablement en train de beta tester des composants et programme de développement en vue de ce futur produit. A ce stade le public ne tiendra pas trop rigueur des petites imperfections présentes, les développeurs quant à eux pourront déjà faire remonter ce qui va ou non.

Apple se donne donc les moyens de faire évoluer des technologies qui atterriront probablement dans leur futures lunettes de manière éclatées. Les capteurs photos via l’iPhone, les trackers cités ici dans les AirPods, l’environnement de développement AR, Siri, etc...

Un certain nombre de pièces du puzzle sont je pense déjà sous nos yeux, reste à découvrir la part à découvrir dont l’une restante, et non la moindre c’est l’interface utilisateur qui sera imaginée.

raoolito | 01/10/2020 à 09:58

@Lecorbubu

j’ai pensé pareil.
mon seul regret c’est que si la techno sera au point, l’adoption a encore du travail, la rea Augmenté, avance lentement...

kurnemanz | 01/10/2020 à 10:08

Hello,

Oui étrange cette limitation à l’Apple TV

Quelqu’un à l’Apple TV 4K mis à jour et peut confirmer que ça ne marche pas ?

D’autre part, oui il faut activer le son spatial dans les réglages de volume sonore des airpods

wip | 01/10/2020 à 10:49

J’ai aussi testé Ready Player One (de l’iTunes Store) sur mon iPadpro 2020 et j’ai été bluffé par l’audio spatial ! C’est énorme !
Ayant un home cinéma à la maison, je peux vous dire que la sensation de bulle est très proche, hormis les vibrations du caisson bien sur. Et le plus bluffant effectivement est que quand on tourne la tête, les voix restent centrées au même endroit, au niveau de l’iPad. On a plus du tout l’impression d’avoir des écouteurs sur les oreilles, le son vient de toute la pièce.
Par contre, j’ai essayé aussi de regarder d’autre films 5.1 ou 7.1 à partir d’Infuse, mais malheureusement, l’audio 3D ne fonctionne pas.
J’espère que cela viendra plus tard.