Les embûches de l'équipe chargée du développement du casque de réalité augmentée d'Apple

Mickaël Bazoge |

Tim Cook a beau vanter dès qu'il le peut les merveilles à venir de la réalité augmentée, on attend toujours de voir ce qu'Apple a dans ses cartons. Certes, côté logiciel les choses avancent bien avec la boîte à outils d'ARKit, mais il manque les appareils pour en tirer le meilleur profit. L'iPhone et l'iPad permettent certes de profiter d'expériences de réalité augmentée, mais au-delà de quelques minutes ça commence à faire mal aux bras.

Concept réalisé par Antonio de Rosa

La solution, ce sont des lunettes mais comme l'a récemment et très clairement expliqué Evan Spiegel, fondateur et patron de Snap, la technologie n'est pas encore au point. En attendant, le dispositif intermédiaire c'est le casque, et Apple travaille sur le sujet depuis des années et des années.

Les vraies lunettes de réalité augmentée pas avant cinq ans, selon le patron de Snapchat

Les vraies lunettes de réalité augmentée pas avant cinq ans, selon le patron de Snapchat

Dans un long papier, The Information rapporte quelques unes des difficultés rencontrées par l'équipe en charge du développement de ce produit. Un développement qui aurait débuté dès 2015, dans des bâtiments situés à Sunnyvale, à plusieurs kilomètres de l'Apple Park. Malgré l'enthousiasme de Tim Cook, cette équipe emmenée par Mike Rockwell, ancien de chez Dolby, souffrirait d'« invisibilité ».

Les sources du site évoquent en effet un intérêt modéré pour leur projet de la part du big boss, alors que ce support est essentiel pour faire avancer les choses — en termes d'investissement et de ressources. Tim Cook ne serait pas aussi actif pour ce casque que pouvait l'être Steve Jobs au moment de la conception de l'iPhone, par exemple. Ses visites au sein du groupe chargé de N301 (le petit nom du dispositif) seraient en effet assez rares.

Il a aussi fallu batailler avec Jony Ive. Le designer en chef d'Apple à l'époque ne voulait pas d'un casque VR en raison du manque d'usages pratiques, de l'aspect que le produit donnait au porteur, et aussi parce que la réalité virtuelle coupe l'utilisateur de son environnement. Cette anecdote n'est pas inédite, on l'avait déjà entendu en 2020 :

Jony Ive aurait refusé un casque de réalité virtuelle surpuissant

Jony Ive aurait refusé un casque de réalité virtuelle surpuissant

L'équipe de Rockwell a travaillé sur les questions soulevées par Ive, avec quelques réponses : d'abord des caméras installées à l'avant du casque, afin que l'utilisateur puisse avoir une idée de ce qui passe autour de lui. L'autre idée est d'intégrer une sorte d'écran extérieur (connu sous le nom de code T429) sur le casque qui reproduirait les yeux et une partie du visage du porteur : les personnes autour de lui peuvent ainsi « voir » la personne et continuer d'interagir avec elle. Bizarre, mais après tout pourquoi pas.

Autre projet tombé à l'eau : un système de batteries amovibles permettant d'obtenir un total de huit heures d'autonomie. L'idée a finalement été abandonnée en raison de sa complexité de mise en œuvre. Selon The Information, la batterie du casque offrait l'an dernier une autonomie de plusieurs heures, similaire à celle d'autres produits d'Apple.

Après des rumeurs insistantes annonçant le fameux casque pour cette année, finalement l'engin pourrait sortir en 2023. Peut-être que la WWDC donnera quelques indications sur realityOS, ce système d'exploitation qui pourrait être au cœur du futur casque…

Le casque AR/VR d

Le casque AR/VR d'Apple reste au menu de 2023

Une démo dès 2016

En 2016, le groupe N301 a organisé une démonstration de ses premiers travaux auprès du conseil d'administration d'Apple et de quelques employés triés sur le volet. Plusieurs prototypes ont été mis au point à partir de casques HTC et d'autres appareils concurrents. Certains d'entre eux fonctionnaient sous Windows. Ces casques nécessitaient l'aide d'un support externe car ils étaient trop lourds pour être portés confortablement.

La démo se déroulait dans plusieurs pièces. Dans une d'entre elles, on pouvait voir grandir un rhinocéros (virtuel…) posé sur une table, une autre se transformait en forêt luxuriante. Il s'agissait de montrer comment la technologie mise au point permettait de passer de la réalité augmentée à la réalité virtuelle.


avatar IceWizard | 

Première embûche : trouver une vraie utilisation grand-public !

avatar Florent Morin | 

@IceWizard

Avec des lunettes, c’est assez facile.

Un grand écran virtuel. Plus grand qu’un iPhone, moins encombrant qu’un moniteur. Avec possibilité de multi-écrans.

Usages possibles :
- traitement de texte
- tableur
- cinema
- jeu vidéo
- montage vidéo
- traitement d’image
- etc.

Un usage tout simple. Très basique. Mais facile à comprendre. Facile à s’approprier. Facile à concevoir (côté apps tierces). Et surtout dont l’utilité n’a pas besoin d’être expliquée.

Le reste, avec 3D et effets spéciaux, c’est complètement déconnecté de la réalité.

avatar xavier25 | 

@FloMo

Pour avoir tester en RV l’usage « grand écran », c’est impressionnant au lancement, mais finalement on finit par vite s’en passer car c’est trop immersif. Et pourtant c’était un rêve de gosse ces lunettes… Je préfère garder une distance avec mon mac et switcher mon regard avec un livre, ou un humain… et en réalité augmentée j’arrive pas à l’imaginer proprement. Bref la RV cela reste des promesses, mais pas d’usage concret hors sessions courtes de jeux vidéo ou du support technique hyper spécialisé. On voit bien que les limites d’Apple ne sont pas que techniques, mais aussi fonctionnelles.

avatar Florent Morin | 

@xavier25

En RV

avatar Fego007 | 

@FloMo

Par contre je suis étonné que personne n’ait pensé à équilibrer les composant sur un « casque «  plutôt que de tout mettre à lavant . Tellement plus intéressant de mettre que la partie affichage devant et le reste équilibré sur la tête non?
Ça rendra la VRet mixte plus inteeesante ?

avatar Florent Morin | 

@Fego007

Bonne question 😅

C’est hyper complexe car il y a plein d’éléments à considérer : le poids, le confort, le ressenti.

avatar LvLup | 

@FloMo

Je sais pas... J'ai un occulus, je me suis régalé sur quelques jeux vidéo, mais on me donnerait des lunettes du futurpour faire du Excel, du traitement de texte ou du Cinéma que j'en voudrai pas 🤷‍♂️

avatar Florent Morin | 

@LvLup

Tout dépend de ce qu’on fait au quotidien.

avatar Dziga_Vertox | 

@FloMo

Mdr
Le mec qui confond tout et qui s’imagine qu’une image remplace un écran. Ce bébé.

avatar Florent Morin | 

@Dziga_Vertox

Pour le coup, j’ai monté un prototype qui va en ce sens avec un casque Homido. Et le résultat est convaincant.

Je vois mon environnement au travers de la caméra et j’ai la double caméra via 2 vues ARKit. Malheureusement, le rendu est déformé car le SDK CardBoard ne supporte pas Metal. Bref. C’est bricolé.

Juste trop lourd sur la tête pour tenir des heures. Et l’interaction doit se faire via un appareil détaché (en l’occurrence, un autre smartphone) pour avoir le bras dans une position naturelle. Heureusement, en reprenant le principe de télécommande tactile virtuelle et de clavier virtuel de l’iPhone pour contrôler l’Apple TV, on s’en sort.

Le rendu est également un peu moisi pour de la lecture du fait du bricolage et de l’adaption moyenne des lentilles.

Et la caméra n’est pas calibrée pour être à l’échelle de l’environnement réel.

Mais, avec du matériel adapté et du logiciel bien synchronisé, ça peut fonctionner. L’important étant une bonne définition, une interaction naturelle et surtout aucun tremblement visuel (l’écran virtuel de doit pas « glisser » de l’endroit où il est posé).

Ça reprend le principe de Virtual Desktop sur Oculus, mais avec du matériel et du logiciel spécifiquement dédié à cet usage. Là où Oculus fait de l’immersif, il s’agit au contraire de s’ancrer au réel pour ne pas déstabiliser les capteurs sensoriels humains. Et c’est bien plus complexe à concevoir.

Par contre, une fois la base en place côté Apple, c’est « basique » pour le développeur tiers, à l’instar du multi-écrans aujourd’hui via UIScreen.

Après, si j’ai zappé un truc, je veux bien être éclairé.

avatar IceWizard | 

@FloMo

«  il s’agit au contraire de s’ancrer au réel pour ne pas déstabiliser les capteurs sensoriels humains. Et c’est bien plus complexe à concevoir. « 

Ils ont trouvé le moyen d’éviter l’effet « mal de mer » des accéléromètres biologiques de l’oreille interne ? Ce serait un grand pas en avant, sur le plan technique !

avatar Florent Morin | 

@IceWizard

J’en sais rien, mais je suis certain qu’ils y travaillent. Il y a quelques temps, ils avaient embauché des spécialistes du cerveau.

avatar calotype | 

@IceWizard

Le jeux et le porno

avatar mat16963 | 

« Les sources du site évoquent en effet un intérêt modéré pour leur projet de la part du big boss »
Quel hypocrite ce Tim Cook… même si la perspective d’un casque AR signé Apple ne m’enchante pas trop, crier haut et fort son intérêt pour la réalité augmentée et laisser dans le même temps son équipe dédiée dans le désintérêt le plus total, c’est gonflé quand même.
Il serait temps qu’il prenne sa retraite ce petit Timmy…

avatar LvLup | 

Moi je pense plutôt que le marché débutera par les entreprises mais avant Apple doit pénétrer le marché, ce qui n'est pas gagné...mais pas perdu non plus. Qui vivra qu'il disait 😊

avatar MGA | 

@LvLup

En effet, chez les pro les usages peuvent apporter une réelle valeur ajoutée, en architecture, urbanisme, ingénierie, quelques domaines de la médecine… et il y a non seulement des usages mais aussi des budgets.

avatar LvLup | 

@MGA

Des budgets oui mais des accords surtout. Pour un groupe qu'il reste a définir ça peut être un UP à deux chiffres sur une seule séance si c'est pertinent. Et une place au soleil pour le PDG dudit groupe. Les moutons suivront. Mais pour l'instant rien ne vient...

avatar IceWizard | 

@MGA

« En effet, chez les pro les usages peuvent apporter une réelle valeur ajoutée, en architecture, urbanisme, ingénierie, quelques domaines de la médecine… »

Niet ! Ça ce sont des usages de niches, très intéressant pour un corps de métier, mais très loin de constituer les marchés de masse visés par Apple, d’autant plus qu’il existe déjà une concurrence sérieuse.

avatar MGA | 

@IceWizard

Je ne parle pas d’Apple mais du marché actuel, à court terme. A ce jour seuls des marchés de niches trouvent des applications extrêmement intéressantes et surtout pérennes. Est-ce qu’Apple trouvera un moyen de rendre ça compact, confortable, utile sur la durée pour la masse ?… nous verrons bien.

avatar lemonsieurduval | 

Je suis un peu stupéfait de l’ampleur que prend cette histoire de Metaverse. On voit se déverser des milliards de dollars pour une technologie sans usage autre qu’anecdotique ou professionnels très spécifiques. Sans parler de l’empreinte carbone du machin, assez incompatible avec les nouvelles directions que devra prendre le numérique tôt au tard.

avatar Fego007 | 

@lemonsieurduval

Le Covid a rendu les riches plus riches….

avatar yasuo87 | 

@lemonsieurduval

Vu comment ça se profile ce sera plutôt tard que tôt et à mon avis suffisamment tard pour que ça fasse effet pansement sur jambe de bois mais bon j’espère avoir tort

avatar Dziga_Vertox | 

A l’heure des crises majeures qui s’empilent il faut être le dernier des abrutis pour imaginer encore la vie en RA/VR ou en multi. Fix the reality then.

avatar Fego007 | 

@Dziga_Vertox

Au contraire certains y voient une « opportunité « de s’échapper de la réalité

avatar MarcMame | 

La solution c’est le Holodeck de Star Trek.

CONNEXION UTILISATEUR