WWDC22 : les prouesses en réalité augmentée d'Apple n'attendent qu'un appareil

Florent Morin |

Si les spéculations concernant un éventuel futur matériel de réalité augmentée ont la fâcheuse habitude d’orienter notre pensée vers des produits déjà connus du grand public, Apple semble pourtant se désolidariser de la vision de Meta et son métavers. Une rumeur indirectement confirmée par Tim Cook lui-même qui explique qu’Apple conçoit « des choses qui ne sont pas encore sur le marché actuellement ». Et la WWDC22 nous a apporté nombre d’informations concernant le design et la technologie de ce futur… de plus en plus proche.

RoomPlan, l'un des nouveaux outils de réalité augmentée offerts aux développeurs cette année

On sait depuis longtemps que la conception en symbiose du matériel et du logiciel est une force d’Apple. Grand Central Dispatch donne toute sa puissance aux puces Apple Silicon afin de traiter de manière efficace des tâches parallèles. Avec Swift Concurrency, c’est encore plus simple, plus performant et plus efficace : et ce n’est que le début. Si la partie optimisation du code est déjà très stable, le moteur s’appuie encore aujourd’hui sur Dispatch. C’est pour cette raison qu’Apple incite les développeurs à se préparer à Swift 6 : afin d’éviter les mauvaises surprises à l’avenir, mais aussi pour pouvoir exploiter au mieux les puces Apple Silicon qui ont de plus en plus de cœurs. Dans le cadre de la réalité augmentée, il est tout de même pratique de pouvoir exécuter rondement un grand nombre de tâches en parallèle : reconnaissance de l’environnement réel, intégration d’éléments en 3D, interaction avec l’utilisateur et autres traitements.

Swift Concurrency va donc aider pour les tâches qui sollicitent le CPU. Mais quid du GPU et du Neural Engine qui sont également utilisés en même temps que tout le reste ? Pour les traitements liés à l’apprentissage automatique Core ML tire déjà pleinement profit du matériel. On est même à deux doigts de la reconnaissance d’objets en temps réel grâce à l’énorme boost offert par les transformers de Create ML. Pour la 3D, Metal 3 va encore plus loin dans l’accélération matérielle. Enfin, si on veut vraiment que tout s’exécute parfaitement bien en parallèle, les puces M1 et M2 utilisées par les Mac et iPad Pro bénéficient d’une mémoire unifiée extrêmement performante et optimisée, idéale lorsqu'on souhaite partager de l’information entre autant d’éléments matériels en un temps record.


avatar Furious Angel | 

Impressionnant certes, mais quelle utilité ?

Simuler un tatouage en réalité augmentée, ou de nouveaux meubles, c’est intéressant, mais extrêmement ponctuel. À moins de se faire tatouer tout le corps ou d’acheter des meubles toutes les semaines, ce qui concerne un nombre plus que limité de personnes.

Pour le reste c’est beaucoup de gadget… C’est bien de poser les bons jalons pour que ca fonctionne bien, sinon le casque sera condamné dès son lancement, mais il faut aussi trouver des usages grand public ET quotidiens. Et ça c’est pas gagné

avatar raoolito | 

@Furious Angel

l'apple watch aussi a mis de temps avant de trouver sa voie
il faudrait regarder ce que sont devenus des google glass de google pour comprendre les vrais usages de l'ar de nos jours
wait and see..

avatar Furious Angel | 

@raoolito

Oui mais l’Apple Watch c’est un accessoire à Mons de 500 euros, qui s’assume comme accessoire. L’AR implique de véritables usages et à un coût bien plus élevé

avatar raoolito | 

@Furious Angel

oui en non. on a aucune idée du prix, vu que le vrai accessoire grand public ne sera pas là avant des années encore. on a des smartphones a plus de 1000€ sans que ce soit particulièrement mal accepté.

avatar Furious Angel | 

@raoolito

Mais on sait tout ce que font les smartphones et les intérêts qu’ils remplacent (réveil, GPS, lecteur mp3, appareil photo, console de jeu…). Pour l’AR, c’est l’immense flou.

Et surtout, on pouvait voir ce potentiel dès la présentation du premier iPhone, sauf chez les pseudo spécialistes qui ne savaient regarder que la fiche de spec. L’AR, on nous le vend comme le futur depuis dix ans mais sans vision, et sans que ça ne devienne jamais le présent.

avatar raoolito | 

@Furious Angel

oui quand l'iphone est sorti, les smartphones etaient hors de prix et les photos sur telephone... bof quoi.
mais je vois bien votre point de vue, on attend de comprendre en quoi l'ar sera une vraie plus-value et pas un simple tuning de la caméra ( en gros)

avatar Furious Angel | 

@raoolito

Oui et là où le smartphone ouvrait des perspectives et de nouveaux usages, l’AR promet juste les memes usages mais sous une autre forme, ce qui est léger. Comme l’Apple Watch peut donner l’impression d’avoir sur le poignet ce qu’on a déjà dans la poche, mais avec des contraintes.

avatar Florent Morin | 

@Furious Angel

Par exemple, dans le bâtiment, on utilise déjà du matériel dédié qui va permettre d’estimer via réalité augmentée et apprentissage automatique la quantité d’enduit nécessaire.

Dans un autre domaine, avec un autre matériel dédié, ce sont les casques HoloLens qui sont utilisés pour réparer des véhicules en ayant la pièce en vision éclatée.

Mais ces usages sont contraints par le matériel et/ou la technicité.

Si Apple pouvait concevoir un matériel à la fois générique et qualitatif, ça ouvrirait le champs des possibles. Mais, à ce stade, ce n’est qu’une supposition.

En tout cas, on sait qu’Apple veut aller vers la réalité augmentée. On ne sait pas comment au niveau matériel. Mais on connaît la direction d’un point de vue logiciel. Et c’est déjà pas mal ! 😁

avatar ya2nick | 

@FloMo

Bonjour,
Si vous avez un lien pour cette histoire d’enduit et de réalité augmentée, je suis intéressé.

Je rajouterai: gestion des stocks pour les magasins ou les entrepôts, pour les archi: création de plan 3D en quelques minutes (MapKit) + possibilité de visualiser le projet futur in situ facilement, dans le bâtiment et les usines possibilité de faire du control qualité, dans les transports/au milieux d’autre personne possibilité de consulter des documents plus ou moins confidentiels, dans l’apprentissage en mécanique/médecine/ingénierie/physique… voir en 3D taille réelle, zoomé, en éclaté…
Je pense que le potentiel de l’AR est énorme, les HoloLens ont déjà certaines de ces applications, mais elle ne sont pas suffisamment démocratisées, Apple a le potentiel de démocratiser un tel produit et ces usages.

avatar Florent Morin | 

@ya2nick

Pour l’enduit, c’est un copain maçon qui m’en a parlé. Ça lui fait gagner un temps fou.

avatar Furious Angel | 

@FloMo

Oui mais justement en dehors de ces usages B2B y’a pas grand chose de concret. Et je vois mal Apple viser un marché si limité.

avatar Florent Morin | 

@Furious Angel

Personne ne sait. On connaîtra le potentiel si Apple présente ce matériel un jour.

avatar MachuPicchu | 

@Furious Angel

On pourrait aussi ajouter le domaine éducatif, des vidéos immersives, gaming, expériences artistiques, et sûrement plein d’autres.

avatar Crunch Crunch | 

@Furious Angel

Utile dans le sans où: Dans 50 ans nous n'achetons plus un produit réel, MAIS implement sa représentation AR ! Une TV, un iPhone, une Apple Watch, le chemin GPS.

Tout cela n'existera plus en réel (matériel physique), mais "simplement" en tant que représentation AR, au travers de lunette !

Ce ne me semble pas impossible.
- Moins de pollution pour la planète
- Moins de frais de fabrication pour les usines
- Des produits meilleurs marché…

C'est d'un horizon à 50 ans qu'il faut voir !

avatar pat3 | 

@Crunch Crunch

"Utile dans le sans où: Dans 50 ans nous n'achetons plus un produit réel, MAIS implement sa représentation AR ! Une TV, un iPhone, une Apple Watch, le chemin GPS."

On devra quand même acheter le casque ou les lunettes, et il faudra quand même une interface matérielle pour le son. Et je pense qu’il y aura quand même la place pour un dispositif de projection en intérieur (associé à un dispositif sonore).

avatar DG33 | 

@Furious Angel

Bah imagine que certains salons de tatouage s’équipent d’un casque à la sortie afin de proposer à leurs clients 1h (payante ?) pour choisir le tatouage, sa taille et son positionnement, tout en pouvant le voir sous tous les angles, en pouvant jouer avec une tache de rousseur, une cicatrice, un grain de beauté…
Imagine ensuite le tatoueur récupérer ces infos en portant lui-même le masque afin de marquer ses points de repère (si ça se fait ainsi ?) au millimètre comme souhaité.
Nul doute que dès la seconde année un paquet de tatoueurs s’équiperont, voire même de plusieurs casques…
Cela fait un marché !

avatar DG33 | 

@Furious Angel

Bah imagine que certains salons de tatouage s’équipent d’un casque à la sortie afin de proposer à leurs clients 1h (payante ?) pour choisir le tatouage, sa taille et son positionnement, tout en pouvant le voir sous tous les angles, en pouvant jouer avec une tache de rousseur, une cicatrice, un grain de beauté…
Imagine ensuite le tatoueur récupérer ces infos en portant lui-même le masque afin de marquer ses points de repère (si ça se fait ainsi ?) au millimètre comme souhaité.
Nul doute que dès la seconde année un paquet de tatoueurs s’équiperont, voire même de plusieurs casques…
Cela fait un marché !

avatar Furious Angel | 

@DG33

Je trouve un smartphone très largement suffisant pour ça… Et même beaucoup plus pratique. Avec un casque VR t’aura du mal à voir ton dos et des tonnes de zones de ton corps !

avatar DG33 | 

@Furious Angel

Avec un casque de réalité virtuelle tu prends le point de vue que tu veux, depuis toi, face à toi, derrière toi, sur le côté si tu te fais scanner préalablement.

avatar Furious Angel | 

@DG33

C’est un processus extrêmement lourd pour un truc faisable sur smartphone, et du coup plus facilement lisible, montrable à quelqu’un etc

avatar raoolito | 

excellent article @flomo !!!
merci pour ce résumé des évolutions techno qu'apple développe, loin des "j'aime pas, ca sert a rien, etc..."

pour grand central dispatch, swift concurrency, je me pose une question depuis longtemps: on a deja souvent vu comme avec APFS, time machine, ou autre que des équivalents existaient chez microsoft et/ou google, parfois bien avant qu'apple ne s'y intéresse. est ce aussi le cas avec ces deux là aussi? les devs sous windows ou android ont-ils accès à des techno similaires ?

avatar Florent Morin | 

@raoolito

Merci 😁

Au niveau de Swift Concurrency, ça existe dans des langages très spécialisés, notamment ceux utilisés pour les supercalculateurs afin de limiter la perte.

Mais pas dans du générique. En tout cas, ceux que je connais s’appuient en général sur les threads POSIX que tous les Unices connaissent ou leur propre système optimisé (façon Dispatch) qui sera plus performant que les threads POSIX mais aura toujours de la perte.

Aujourd’hui, Swift Concurrency est un frontend à Dispatch. Ça optimise le code des développeurs et ça utilise le backend Dispatch qui est multiplateformes. Ça doit utiliser un autre backend sur Windows d’ailleurs il me semble.

Bref. On peut d’ores et déjà passer à Swift Concurrency. Sachant que Swift 6 sera très exigeant dans son utilisation. Et pour cause.

De ce que j’ai compris des sessions WWDC, Apple travaille à un backend dédié qui exploitera finement les cœurs Apple Silicon. En gros, on élimine le coût de création d’une tâche dans un thread. Et on ne crée pas plus de threads qu’il n’y a de coeurs disponibles. C’est une optimisation rêvée qui pourrait donner un sacré coup de boost tout en limitant un peu la consommation.

Mais ça implique un « contrat runtime » qui dit au système : « OK, mon app est clean et ne va pas créer plus de threads que de cœurs disponibles ».

Et bien sûr, à mon avis, Apple a prévu d’exploiter au maximum la mémoire unifiée pour ça. Ça permettrait potentiellement un partage des données instantané entre tous les composants sur puce : CPU, GPU, NE, etc.

En tout cas, vu les évolutions vers Swift 6 et les petits ajouts qui viennent se greffer ici et là, ça en prend le chemin.

avatar Lu Canneberges | 

@FloMo

> « Sachant que Swift 6 sera très exigeant dans son utilisation. »

Au vu du boulot que j’imagine colossal de créer un langage de programmation au complet et parfaitement adapté au fameux mantra « logiciel + matériel », et des améliorations profondes que cela représente pour tout le monde, développeurs, utilisateurs et donc in fine Apple grâce à la différenciation et l’appréciation de ses appareils…

…est-ce qu’on peut s’imaginer à terme une obligation d’utiliser Swift ? C’est probablement impossible sur iPhone ou Mac à l’heure actuelle avec autant d’applications en circulation (la transition M1 eut été une fenêtre d’opportunité et les choix imposés étaient déjà radicaux) et/ou parce que le langage n’est pas encore totalement mûr…

Mais pour un hypothétique casque de réalité augmentée et/ou virtuelle, est-ce que l’obligation de passer par Swift pour avoir accès au casque via son App Store gardien du temple, afin d’avoir une expérience la plus optimisée et unifiée possible (et peut-être pour simplifier le travail d’Apple qui n’aurait qu’un langage à supporter donc la stabilité de l’ensemble, et pousser les développeurs à s’y mettre avec l’espoir d’un ruissellement sur les autres plateformes ?) est envisageable, souhaitable, possible, ou absolument à éviter ?

Quel est votre avis « du terrain / expert » ?
Merci beaucoup ! 🙏

avatar Florent Morin | 

@Lu Canneberges

Swift 6 sera optimisé pour les performances, au-delà de Swift Concurrency. Et les différentes itérations de Swift 5 vont en ce sens.

Certaines couches bas niveau de iOS sont déjà codées en Swift.

De là à imposer le langage, j’en doute. Par contre, imposer le contrat runtime de Swift 6 et faire appel à des composants en C / ObjC, ce serait logique.

avatar cecile_aelita | 

Article vraiment très intéressant !
Merci 🙂

avatar Florent Morin | 

@cecile_aelita

👍

avatar Lu Canneberges | 

« Si l'on ne sait pas encore de quoi l'avenir sera fait, on peut être quasiment certains qu’Apple nous y prépare déjà, sans en avoir l’air. Comme ce fut le cas par le passé avec l’iPad, l’iPhone X et tout récemment avec Stage Manager par exemple. »

Et les Macs ARM !!! J’ai l’impression que pendant au moins 5 ans on voyait passer de plus en plus d’outils ou de décisions qui semblaient cacher quelque chose et qui ont finalement abouti à la puce M1 !

Donc oui tout le boulot réalisé depuis 5 ans sur la réalité augmentée cache probablement quelque chose de grand et potentiellement extraordinaire tant il est peaufiné et peaufiné et peaufiné… la seule question c’est quand est-ce qu’on en verra le résultat ?!

avatar Florent Morin | 

@Lu Canneberges

Le futur matériel Apple pourrait être à HoloLens ce que le M1 fut aux PC Windows ARM.

avatar Lu Canneberges | 

@FloMo

> « Le futur matériel Apple pourrait être à HoloLens ce que le M1 fut aux PC Windows ARM. »

☝️👌🤞

avatar Lu Canneberges | 

En tout cas bravo et merci Florentin pour cette grosse synthèse de tout le chemin parcouru, à la fois mystérieux et déjà productif ! 🙏👏👌

L’abonnement au Club iGen se justifie 100 fois !!! 🤩

avatar Florent Morin | 

@Lu Canneberges

😁

avatar amonbophis | 

Après avoir lu cet article et les commentaires, j’en conclue qu’à l’heure actuelle et à court term, l’AR n’est pas destinée au grand public, mais à des marchés spécifiques.

avatar Furious Angel | 

@amonbophis

Pareil. Et c’est ça que je trouve bizarre, parce que je vois mal Apple viser uniquement ces marchés.

avatar Seb42 | 

Il est difficile de voir où nous emmènera l’AR mais on peut d’ores et déjà pensé au GPS, plan deviendrait sans utilité.
Idem pour toutes les appli faisant appellent à de la caméra reconnaissance de plantes par exemple, l’iPhone ne sera plus d’aucune utilité.
Rappelez vous l’Apple Watch a sa sortie ne mesurait pas le rythme cardiaque, pas d’analyse du sommeil, mesure d’oxygène, vérification de chute etc.. et finalement elle va faire dans un futur plus ou moins proche mesure de glycémie.

Bravo pour l’article en tous cas et le Clib iGen en général 👍🤩

avatar Florent Morin | 

@Seb42

Merci ☺️

avatar Jean-Baptiste Leheup | 

Et j’ajouterais bien que le son spatial est clairement orienté lui aussi vers la réalité virtuelle ou augmentée. Je ne pense pas qu’Apple se soit donnée le mal de lancer un nouveau format juste pour que le son des séries Apple TV semble bien sortir de l’iPhone quand on tourne la tête ! Le but est clairement de représenter chaque son dans l’espace et non plus seulement entre nos deux oreilles. Comme ça, quand on s’enfuira en courant, le grognement du dinosaure semblera vraiment venir de l’arrière !

avatar Florent Morin | 

@j-b.leheup

C’est clair !

ARKit est déjà au top là-dessus. On peut créer des expériences vraiment sympa.

https://developer.apple.com/documentation/arkit/creating_an_immersive_ar_experience_with_audio

avatar ya2nick | 

@j-b.leheup

Audio spacial + Memoji pour les réunions virtuelles.

avatar Florent Morin | 

@ya2nick

Yes. Carrément.

Par contre, pas forcément dans la forme actuelle : ça fait un peu « cartoon » pour traiter des sujets potentiellement sérieux.

avatar stedumais | 

Apple ne précipite jamais les choses s'il ont un projet c'est quelque chose qui va fonctionner dans la vie de tout les jours . Il ne font jamais du matériel juste pour sortir de nouveau gadget. Il prenne leur temps meilleur exemple leur montre qui était attendu depuis quelques année .

avatar BingoBob | 

Suberbe article, qui me fait penser à celui écrit à la sortie du M1, qui listait tout ce qu’Apple avait discrètement mis en place pendant toutes ces années, et qui expliquaient aujourd’hui la vitesse du processeur par rapport à Intel…

avatar Florent Morin | 

@BingoBob

Merci. Clairement, la puce M1 est calibrée pour Swift 6 et Swift Concurrency. C’est flagrant et ça pourrait bien encore creuser l’écart de performances… tout en étant optimal pour la réalité augmentée.

CONNEXION UTILISATEUR