Créer la version 3D d'un objet à partir de photos, c'est presque facile avec iOS 15 et macOS Monterey
Apple continue de semer les petits cailloux sur le chemin qui mène vers la constitution d'une plateforme de réalité augmentée complète et puissante, avec un nouvel outil de photogrammétrie dévoilé durant la WWDC. Si l'idée est simple sur le papier — créer la version 3D d'un objet pris en photo —, la technique est plus complexe.
La nouvelle API Object Capture du framework RealityKit permet à un Mac sous macOS Monterey de reproduire un objet en 3D à partir de plusieurs photos dudit objet. Pas besoin d'équipements coûteux : un appareil photo suffit, il n'est même pas nécessaire d'avoir des données de profondeur. De fait, il est possible d'alimenter RealityKit avec des clichés pris avec un iPhone, un iPad, un reflex ou même un drone.
Et le lidar, il peut être utilisé? C’est tout son intérêt dans la mesure des profondeurs?
@amonbophis
Ça l’est probablement. En complément du double objectif qui est le prérequis.
@FloMo
Pas besoin de double-objectif et encore moins de Lidar pour la photogrammétrie : c'est la parallaxe obtenue à partir des différentes photographies qui permet de calculer la représentation 3D de l'objet, d'où le fait que n'importe quel appareil photo puisse faire l'affaire.
Je fais de la photogrammétrie avec mon reflex sans la bardée de capteurs qu'embarque un iPhone et ça fonctionne très bien. C'est tout l'intérêt de cette technique ! 😉
@minipapy
Pour avoir des données de profondeur, il faut les 2 objectifs.
Mais en effet, ça fonctionne à partir des photos uniquement.
@FloMo
Avoir deux objectifs ou faire des prises depuis deux (ou plus) points de vue différents comme l'impose la photogrammétrie permettent tous les deux de mesurer des profondeurs et cela fonctionne grâce à un principe identique : la parallaxe.
C'est justement parce que les deux objectifs sont décalés l'un par rapport à l'autre qu'ils permettent de mesurer la profondeur.
Avoir un seul objectif est donc suffisant dans le cas qui nous concerne ici puisque l'on doit de toute façon tourner autour de l'objet à rendre en 3D et prendre de multiples photos à partir de multiples points de vue.
Donc soit je ne comprends pas ce que vous voulez dire (ce qui est évidemment possible), soit l'affirmation "il faut 2 objectifs pour les mesures de profondeur" est erronée.
@minipapy
Je pense que FloMo veut dire :
Pour avoir des données de profondeur sur une seule prise, il faut les 2 objectifs.
@man0
Peut-être, effectivement. Mais dans ce cas de figure, quel est le rapport avec la photogrammétrie présentée dans l'article et pourquoi répondre à "amonbophis" que le double-objectif est un prérequis ?
@man0
C’est un pré-requis dans le cas présent.
« This project requires an iPhone or iPad with dual rear cameras. »
https://developer.apple.com/documentation/realitykit/taking_pictures_for_3d_object_capture
@minipapy
Il y a 3 informations fournies lors du scan, pour chaque image utilisée :
- la photo en elle-même (indispensable)
- la profondeur, sous forme d’un mappage de l’image, qui requiert 2 objectifs
- les données de gravité issues de l’accéléromètre et du gyroscope.
Ensuite, pour le mappage global de l’objet, la profondeur est calculée à partir de l’ensemble des images. Et, idéalement, des informations de profondeur propre à chaque image, si elles sont présentes.
On a la profondeur à 2 niveaux :
- l’image
- le rendu.
Et donc, le rendu est meilleur avec les informations de profondeur de chaque image utilisée. Ça vient renforcer le niveau de précision.
D’où le fait que ce soit un pré-requis côté Apple.
https://developer.apple.com/documentation/realitykit/taking_pictures_for_3d_object_capture
@FloMo
Ok, j'ai compris : vous parlez du projet d'exemple fourni par Apple et non de la technique en elle-même. Dans ce cas, ça se tient. Merci pour la clarification. 😉
@minipapy
Pas de soucis. 😁
En fait, c’est aussi lié à la technique Apple.
Au niveau de la reconstruction, quand il n’y a pas assez de photos avec les informations de profondeur, ça échoue.
J’ai fait des essais avec quelques images sans forcément les informations de profondeur car mon cadre d’apprentissage ne permettait pas de les avoir : ça tombait en échec.
Dans le doute, mieux vaut s’assurer d’avoir les informations de profondeur.
@FloMo
Oui, le jeu de photographies doit être de qualité et pris rigoureusement pour obtenir des résultats satisfaisants. J'imagine que les données de profondeur doivent permettre de pallier une certaine faiblesse dans les prises.
En fait, je pense que ça va dépendre de la cible des applications qui tirent parti de cette API.
Pour une application à destination d'utilisateurs qui ont une utilisation professionnelle des modèles 3D, les prises de vue seront probablement réalisées à partir d'un reflex avec les conditions d'éclairage appropriées et en suivant un protocole rigoureux.
Pour une application grand public et un modèle réalisé simplement et rapidement, les données de profondeur apportées par les capteurs de l'iPhone ou l'iPad vont améliorer les résultats malgré la faiblesse de l'échantillon photographique.
Je serais curieux de pouvoir comparer les résultats ! 🙂
@minipapy
Idem 👍
Cela me rappele l’épisode 17 « les petits formats » de Spirou et fantasio : photographier un objet sous toutes les coutures avec un fond blanc pour le recréer en 3D.
Et donc, cons ans plus tard, on n’a toujours pas trouvé d’intérêt à l’AR
@Furious Angel
J’ai eu 2 propositions la semaine dernière pour intégrer l’AR dans un cadre commercial. Une pour usage interne, en outil pour les vendeurs. L’autre pour une intégration dans un canal d’achat mobile.
Le rapport coût réel / bénéfice potentiel semble enfin être avantageux. En tout cas, c’est clairement l’argument pour l’un des deux : c’est un outil de plus pour aider à la décision d’achat. Le client se projette.
@Furious Angel
"on n’a toujours pas trouvé d’intérêt à l’AR"
l'AR n'a AUCUN intérêt avec les appareils actuels, à savoir les iPhones et les iPads
Apple prépare le terrain pour les lunettes AR, c'est tout, et c'est déja pas mal (si ce n'est indispensable)
"un outil macOS en ligne de commande"
Euh ... il est prévu un outil avec une interface utilisateur ????
On est sur Mac, on est pas sur PC avec MS DOS, non ?
Oui, bien sûr. C'est juste un outil pour les développeurs pour le moment.