L’Apple Vision Pro aurait besoin de caméras de 100 mégapixels qui n’existent pas encore

Nicolas Furno |

Les caméras capables de capter une image optimale pour l’Apple Vision Pro n’existent pas encore. Ce n’est pas un journaliste qui l’affirme, c’est l’avis d’un responsable de Canon qui a échangé sur ce sujet avec le site spécialisé PetaPixel. Il faudrait des caméras équipées d’un capteur de 100 mégapixels au minimum et capable de tourner à 60 images par seconde pour offrir un rendu parfaitement convaincant à l’intérieur du casque de réalité virtuelle. Comme cela n’existe pas encore, cela explique qu’Apple a utilisé des ordinateurs pour le rendu des environnements fournis avec visionOS, même si le constructeur est probablement parti de vidéos.

Les deux écrans à l’intérieur du Vision Pro ont une telle résolution que les caméras que l’on peut produire aujourd’hui ne suffisent pas pour un résultat parfait. Image watchGeneration.

Cela équivaudrait à une définition 14K, bien éloignée des 8K qui sont désormais accessibles sur le haut de gamme. Canon a déjà réussi à créer des capteurs de 100 mégapixels dans des prototypes, mais ils n’étaient pas capables de filmer à 60 images par seconde. Combiner cette définition élevée et la fréquence est une tâche encore impossible, en tout cas pas de manière viable pour un produit commercial. S’il existe une caméra qui atteint et même dépasse ces caractéristiques, la caméra conçue spécialement pour la Sphere de Las Vegas qui peut tourner à 18K et 60 fps, c’est un monstre fabriqué quasiment à la main et qui nécessite une douzaine de personnes pour sa manipulation.

Les progrès technologiques devraient permettre d’offrir un jour une caméra capable de respecter ces caractéristiques. C’est un objectif pour Canon ainsi que pour ses concurrents, comme on peut l’imaginer. Il faudra aussi trouver des solutions pour le stockage : une vidéo tournée avec la caméra 18K de la Sphere pèse 32 Go par seconde, soit près de 2 To pour une minute ou encore plus de 115 To pour une heure d’images. Autant dire qu’il faudra plus qu’une simple carte SD pour stocker ces données.

Naturellement, on parle ici d’une définition optimale destinée à immerger entièrement le porteur du Vision Pro dans une vidéo. Le casque peut d’ores et déjà offrir de bons résultats si on réduit la taille des contenus, ce qui en fait une excellente alternative à un téléviseur.

Test du Vision Pro : le roi du divertissement ?

Test du Vision Pro : le roi du divertissement ?


avatar appleadict | 

ce Vision Pro me rappelle feu le Lisa ...
sauf que le Lisa préfigurait le Mac dans un usage grand public, alors que je peine encore à imaginer le Vision Pro en usage grand public ...

avatar mesha76 | 

C’est marrant mais je vois plus le vision pro comme un gadgets qui ferait les beaux jours de la tête dans les nuages de SEGA et qui serait facilement rentabilisé qu’un objet personnel qui serait utilisé de temps en temps au début puis prendre la poussière passer l’effet de nouveauté
Surtout que je me demande encore ce qui justifie l’appellation PRO quand je n’y vois qu’un gadgets de divertissement à 3500 balle qui ressemble à un masque de ski

avatar Bigdidou | 

@mesha76

« je n’y vois qu’un gadgets de divertissement à 3500 balle qui ressemble à un masque de ski »

Sauf que maintenant qu’il est sorti, ce sont les masques de ski qui ressemblent au Vision Pro, et à leur place, je me ferais des soucis.

Et puis tu exagères : pour qu’il prenne pas la poussière, il suffit de l’épousseter.

Bon, pas trop fort.

avatar v1nce29 | 

Pas très convaincant comme 'argumentaire'. Bizarre que PetaPixel ne l'ait pas obligé à développer sa pensée.

avatar Marius_K | 

"Le casque peut d’ores et déjà offrir de bons résultats si on réduit la taille des contenus, ce qui enfin fait une excellente alternative à un téléviseur."

Une excellente alternative à un téléviseur, en quoi quelque chose qui coûte trois fois plus cher, crée un poids sur la tête, est complètement individualiste, a une autonomie limitée, des contenus limités pourrait être une excellente alternative à un écran, sauf dans des situations très spécifiques ?

avatar roccoyop | 

@Marius_K

Avec l’Apple vision Pro tu peux avoir un grand écran pour ton film à priori affiché sur un écran plutôt bon.

Avec 1000 balles t’as une dalle pourrie ou une petite dalle OLED.

En quoi t’es limité en contenue déjà ? 🤔

avatar Adodane | 

@roccoyop

Le casque d'Apple est limité car la résolution angulaire est trois fois inférieurs a n'importe quelle télé ou smartphone.

C'est ridicule de l'utiliser comme écran informatique, alors remplacer un televiseur ... 🙄

avatar Urubu | 

@roccoyop

Attends de l’avoir acheté et essayé avant d’être aussi péremptoire 🙄

avatar oomu | 

si après l'avoir acheté et essayé, il devient DEUX FOIS PLUS péremptoire, qu'allez vous lui dire ?

avatar fleeBubl | 

Mouè … sauf que la définition de 100 mégapixels reste virtuelle, et plus à considérer comme un flux dont la pleine définition ne s’exprime que pour la vision centrale de l’œil … à condition, de plus, que l’analyse de la rétine puisse suivre la cadence du mouvement des yeux avec la précision nécessaire.

avatar fabiendirect | 

Pour info ce qui n’a pas déjà été fait né le sera plus pour au moins plusieurs milliers d’années. Le temps à la décroissance de faire son œuvre réparatrice sur l’état de la planète. 🌍

avatar calotype | 

@macg Va falloir faire un article sur la techno des casques car je pige rien.
Sans avoir de connaissance sur ces derniers j’aurais dit que le goulot d’étranglement se situe au niveau de la définition des écrans intégrés.
Quand je lisais les commentaires sur le manque de finesse des détails en utilisant le casque en écran secondaire cela me confortais dans cette idée.

Mais là à la lecture du sujet et des commentaires je suis perplexe.
Ils me semble que le visions pros à plusieurs camera. Parle t on que chacune d’entre elle fasse 100mpx ? Ou 100mpx l’image globale reconstituée ?
De plus si on parle bien d’une caméra 100mpx, je ne pense pas que la fréquence soit le réelle défi. On comprend bien que le rafraîchissement demande une ressource matérielle et logicielle et énorme tant au niveau du capteur que du traitement. Mais ça avec les evolution on va y arriver ou du moins on va l’optimiste car ça existe déjà.

Parcontre faire un capteur de 100pmx qui soit, on va dire d’un 1pouce, cela oblige à faire des photosites très petits ont sait faire pour vendre du pixel, mais faire du pixel qualitatif c’est très compliqué pour deux raisons:
- Trop petits les photosites n’emmagasinent pas assez de photons, au final y’a du bruit et de la bouillie mal définie.
- Le capteur va dépasser la résolution des optiques. Et oui malheureusement si le capteur est petit et très défini, il faudrait en théorie des optiques ultra pures, avec des géométries parfaites, bien alignées etc.. pour l’exploiter et ça … ils planchent encore dessus vus les milliard de smartphone équipés !!!

Alors je comprend pas ce problème de fréquence.

avatar v1nce29 | 

Il parle des caméras pour produire du contenu à destination du casque. Donc pas de problème de taille de photosites.
Après pourquoi il faut tourner en 14k pour afficher du 3.6k c'est pas exceptionnellement clair dans son discours.
Sachant qu'en plus les gens semblent regarder les films non pas en fullscreen mais sur des écrans virtuels dans un environnement 3D (et donc que la résolution réservée au film diminue d'autant).
Bref ça ressemble plus à un plaidoyer prodomo qu'un réel impératif technique.

avatar calotype | 

@v1nce29

C’est pour ça que je disais à macg de faire un dossier car y’a des trucs pas clair.

avatar Moebius13 | 

Ce casque n’a aucun avenir entre les mains du grand public, j’en reste persuadé.

Il est encore à des années lumières d’être au point pour une utilisation non seulement confortable mais également techniquement sans faille.

3500$ dans un casque qui a besoin d’une forte luminosité pour reconnaître correctement les gestes et en plus même dans ces conditions ne permet pas de voir correctement l’extérieur vu la résolution des caméras ça la fout mal, sans compter le poids, la fatigue, la résolution encore insuffisante, le FOV insuffisant, le taux de rafraîchissement insuffisant, les reflets sur les lentilles à l’usage en regardant un film par exemple, et le faible nombre d’applications et d’éditeurs qui semble avoir envie d’y aller (ça peut changer toutefois).

La concurrence progresse aussi en parallèle et ses tarifs sont bien moins élevés et l’expérience offerte est bien un bon grand en dessous mais elle va apprendre au passage.

Ça me rappelle les années 90, les casques VR ont tenté une percée, malheureusement la technologie était très loin d’être au point et ça a bidé.

Nouvelles tentative dans les années 2010 et cette fois la technologie était enfin convaincante mais pas encore assez pour assurer un confort optimal à l’utilisateur et surtout les applications et les jeux n’ont pas été au rendez-vous à part de rares exceptions, ce qui fait que passé l’engouement initial, les casques ont pris la poussière.

À mon sens il faudra revenir dans 20 ans avec une troisième vague et une technologie enfin pleinement à la hauteur de la tâche, et des capacités de miniaturisation permettant de rendre l’expérience agréable ou au moins qu’elle ne soit ni gênante, ni susceptible d’induire maux de tête et cinétose.
Il reste donc beaucoup de R&D à faire si on décide de continuer dans cette direction.

On parle d’écrans capables de tromper l’œil humain, sans pixels visibles, avec un taux de rafraîchissement indiscernable et un FOV égal à celui de l’œil.

On parle en AR de capteurs si définis qu’ils doivent permettre de prendre le journal sur la table et de lire même les articles en tout petits caractères sans dégradation de l’image, peu importe la luminosité (pas dans le noir évidemment, mais ce qu’un œil d’âge moyen pourrait faire), casque que la tête !
Ça signifie qu’il ne faut aucun bruit sur l’image.
À mon avis ça implique des retraitements lourds en temps réel par IA avec une latence si faible qu’elle serait également imperceptible.

Le chemin est donc extrêmement long et je ne parle même pas des problématiques de batterie, il faudra pour que ce soit pleinement viable de nouvelles technologies de batteries qui renvoient pratiquement le Lithium-ion à l’âge de pierre.
Avec de très grandes capacités de stockage d’énergie dans de petits espaces.

Avec tout cela on pourrait miniaturiser un casque comme l’Appe Vision pour le rapprocher d’un masque de Ski (je doute qu’on arrive au format lunettes un jour et les lentilles ça reste de la SF et ça le restera longtemps).

Ensuite le jour où on en arrive là, il faut que le tarif soit accessible à la classe moyenne, que l’objet soit design et qu’il ne fasse pas passer pour un con dedans ou dehors, et qu’il y ait de réelles applications quotidiennes (et je pense que l’IA dans 20 sera tellement incontournable qu’elle remplira cette fonction).

En revanche une bonne idée d’Apple, sur le papier pas dans la réalisation, réside dans son écran externe qui doit permettre de voir les yeux de l’utilisateur.
Un casque format masque de ski pleinement abouti devrait avoir ce principe mais avec une réalisation impeccable qui reproduise le visage sur toute la surface externe du masque avec un bezel le plus réduit possible avec les bords de l’appareil afin que le casque « s’efface » pratiquement aux yeux de l’interlocuteur.

Le jour où toutes ces conditions seront réunies, alors là oui je croirais pleinement en un marché pour les casque AR/VR dans le grand public au delà d’une petite niche.

Dans l’intervalle ce sont à mes yeux de beaux prototypes, qui tentes des choses, qui posent des bases, mais qui ne sont pas viables en l’état actuel de l’art.

Un peu comme les tentatives de 3D dans les années 80, début 90, c’était impressionnant de voir Tron par exemple, mais c’était du prototype de 3D, on posait les bases et aujourd’hui on a Avatar au cinéma.
Pareil pour la 3D temps réel qui a un peu plus de 20 ans concrètement, et qui a énormément évolué, à pas de géant même, mais pour le moment, aucun jeu n’arrive encore à tromper l’œil humain en lui faisant croire que c’est la réalité, même si certaines démonstration sont assez bluffantes et proches.
Il manque bien encore 10 ans pour parvenir à du vrai photoréalisle, et on aura donc mis 30 ans de développement là dedans et 30 ans intensifs avec tous les acteurs de l’industrie en compétition.

Donc la VR/AR digne d’être désirée et utile pour monsieur tout le monde, on peut attendre 2050 pour la voir comme pour les véritables voitures autonomes dignes de ce nom.

avatar Sindanarie | 

@Moebius13

Bien que tu exprime des doutes sur l'avenir des casques VR/AR dans le grand public et soulève des défis techniques à surmonter, il y a des contre-arguments à considérer :

1. Progrès technologiques rapides : L'industrie technologique progresse rapidement. Ce qui semble impossible aujourd'hui peut devenir réalisable dans un avenir proche avec les avancées en matière de matériaux, de traitement informatique et d'innovations techniques. Par exemple, la miniaturisation des composants électroniques, l'amélioration des capteurs et des écrans, ainsi que les avancées dans les algorithmes de traitement d'image et d'intelligence artificielle peuvent contribuer à résoudre les problèmes actuels des casques VR/AR. Les entreprises technologiques investissent massivement dans la recherche et le développement pour surmonter ces défis.

2. Adoptions progressivement croissantes : Bien que les premières versions des casques VR/AR aient rencontré des obstacles, on constate une augmentation progressive de leur adoption. De plus en plus d'entreprises investissent dans la réalité virtuelle et augmentée, ce qui stimule la création de contenu et la recherche et développement pour améliorer l'expérience utilisateur. Les secteurs du divertissement, de la formation, de la santé, de la conception et de nombreuses autres industries voient le potentiel des technologies immersives pour transformer leurs domaines respectifs. Ces investissements stimulent la création de contenu de qualité et encouragent la collaboration entre les développeurs de matériel et de logiciels pour améliorer l'expérience utilisateur.

3. Demande du marché : Il existe une demande croissante pour des expériences immersives et interactives, tant dans le domaine du divertissement que dans celui de la formation, de la médecine et d'autres secteurs. Cette demande pourrait stimuler l'innovation et la production de casques VR/AR plus avancés et abordables. Les gens cherchent des moyens novateurs de consommer du contenu, d'apprendre, de communiquer et de collaborer. Les casques VR/AR offrent une solution prometteuse à ces besoins. En répondant à la demande croissante du marché, les entreprises seront motivées à surmonter les obstacles techniques pour offrir des produits plus convaincants.

4. Convergence des technologies : Avec le développement de l'intelligence artificielle, de l'informatique quantique et d'autres technologies émergentes, il est probable que les obstacles techniques mentionnés, tels que la résolution, le champ de vision et la latence, soient progressivement surmontés. La réalité augmentée et la réalité virtuelle peut catalyser des avancées significatives dans le domaine des casques VR/AR. Par exemple, les algorithmes d'apprentissage automatique peuvent améliorer la reconnaissance gestuelle et faciale, réduire la latence et optimiser les performances des applications VR/AR. De plus, l'évolution des matériaux et des processus de fabrication peut conduire à des dispositifs plus légers, plus confortables et plus durables.

En résumé -et ensuite vous veillerez à me laisser manger ma banane en paix- bien que les défis techniques et les obstacles à l'adoption généralisée des casques VR/AR soient réels, il est également plausible que ces technologies connaissent des améliorations significatives dans un avenir relativement proche, ce qui pourrait changer la perspective actuelle sur leur viabilité à long terme dans le grand public.

avatar pocketalex | 

"Ce casque n’a aucun avenir entre les mains du grand public, j’en reste persuadé."

Ce casque est un kit de dev, pas un produit grand public. Tu "restes persuadé" que ce casque n'a aucun avenir ? La belle affaire ... Tu sais, j'en suis tout autant persuadé que toi, les testeurs en sont tous persuadés, et même Apple le sait très bien, la conclusion est donc vite trouvée

Je ne connais pas une seule personne un minimum crédible qui croit que demain tout le monde portera un casque sur sa tête.

Le milieu de la VR, Meta en tête, s'en est auto-persuadé pendant une décennie, et au final c'est un four total, tous les investissement sont redirigés vers des domaines plus prometteurs, à commencer par l'IA

C'est l'informatique spatiale qui a de l'avenir, mais ce casque, il restera un joujou hors de prix ayant permis à des développeurs d'arriver en premier sur le marché, et ... et c'est tout

"je doute qu’on arrive au format lunettes un jour "

Les protos Waveguide de l'année dernière (de 2022 même), fonctionnels, permettaient 2.5K/oeil et 50° de FOV. Il reste du taf, mais ça avance vite. Très vite. On devrait arriver assez rapidement à 4K/oeil et 100° de FoV

Tu doutes qu'on arrive au format lunettes, moi je pense qu'on aura des premiers produits convainquant d'ici 2025/2026, et de la part d'Apple, aux alentours de 2027. Demain quoi

"Donc la VR/AR digne d’être désirée et utile pour monsieur tout le monde, on peut attendre 2050"

La VR j'en ai aucune idée, et à mon avis le souci ne vient pas des appareils, qui sont à date encore en retard mais s'approchent rapidement du niveau minimum de qualité indispensable (que propose déja le Vision Pro), mais des contenus et notamment du Metavers qui n'aura jamais le moindre intérêt tant qu'il reste un tchat avec des graphismes des années 90. Ready Player One est encore loin, très loin

L'AR en revanche, c'est plus proche, et c'est plus intéressant. Je doute qu'aucune marque n'arrive à vendre en masse des casques immersifs, en revanche il m'est évident que le futur appareil qui se vendra autant sinon plus qu'un iPhone c'est la paire de lunettes AR. Un appareil qui se porte sans défigurer/déguiser son utilisateur, et qui offre tous les services de l'informatique spatiale, tous les jours, partout, tout le temps
Je pense qu'avant 2030, donc entre 2025-2026 et 2030 on aura les premiers produits convainquants. Il reste du taf de miniaturisation à faire, je te l'accorde

CONNEXION UTILISATEUR