ARKit : le premier pas de géant d'Apple dans la réalité augmentée

Arnaud de la Grandière | | 08:30 |  30

Lors de son annonce, ARKit a fait beaucoup de bruit, y compris dans le landerneau de la recherche de pointe sur la réalité augmentée. Il faut dire que le framework d’Apple dépasse de la tête et des épaules tout ce qui s’est fait dans le domaine jusqu’à aujourd’hui. En outre, la robustesse exceptionnelle de son tracking (suivi du mouvement des éléments dans l'image, ndlr) ouvre des perspectives bien plus alléchantes que ce qui a été fait jusqu’ici.

En quoi ça consiste ?

Tout le monde ou presque est aujourd’hui familier avec la réalité augmentée, à mi-chemin de la réalité virtuelle et de la réalité tout court, qui consiste à incruster dans l’image captée par la caméra de l’iPhone des éléments qui s’affichent de façon cohérente avec l’environnement. De nombreuses applications s’y sont essayées : Ikea pour simuler la présence de ses meubles dans votre salon ; des filtres photographiques qui vous rajoutent des appendices loufoques en trois dimensions ; des Pokémon du quartier à attraper ; encore des flèches pour vous indiquer la route à prendre jusqu’au prochain McDo et autres bouches de métro.

Un assortiment de méthodes a jusqu’ici été mis au point pour réaliser ces incrustations afin qu’elles soient positionnées et orientées correctement en tenant compte du GPS, de la boussole, de l’accéléromètre et du gyroscope.

Autre approche, de façon purement optique, que ce soit via la reconnaissance faciale pour les filtres photos susmentionnés, ou encore à l’aide de marqueurs fiduciaires, cette dernière méthode étant la plus précise et la plus fiable (fiduciaire signifiant "auquel on peut se fier").

Dans ce cas, il s’agit d’images en 2D, dont l’apparence est connue par un algorithme, qui sont placées dans l’environnement. L'algorithme “reconnaît” le marqueur dans l’image et déduit précisément sa position et son orientation dans l’espace en identifiant les déformations dues à la perspective, ce qui lui donne un point de référence dans l’espace auquel il pourra “ancrer” un objet tridimensionnel.


Ici, des cartes à jouer jouent le rôle de marqueurs fiduciaires

Les méthodes optiques, si elles sont plus précises, ne sont pas pour autant sans inconvénients : que le marqueur ou le visage soit partiellement recouvert et le système “panique”, faisant disparaître l’incrustation ou lui donnant des coordonnées farfelues. Un effet de “décalage/rattrapage” se produit également lorsqu'occasionnellement l’algorithme ne parvient pas à identifier le marqueur sur une trame du flux vidéo.

Et c’est bien là où ARKit fait fort : non seulement son tracking est aussi fiable que s’il utilisait un marqueur fiduciaire, ce dont il s’exempte pourtant, mais en outre il maintient les objets virtuels à leur place, que la caméra soit totalement obstruée ou que l’endroit “réel” auquel l’objet est attaché sorte entièrement du champ. S’il arrive qu’un léger décalage se produise au fil des mouvements de caméra, ARKit se réétalonne automatiquement et replace l’objet à l’endroit prévu.

Mais ARKit ne s’arrête pas en si bon chemin : il détecte les plans horizontaux visibles à l’image (sol, tables), permettant de positionner dessus les objets virtuels, et procède à une estimation de l’éclairage ambiant, autre élément déterminant pour le réalisme des incrustations. Le tout en ne se laissant pas abuser par les surfaces transparentes et/ou réfléchissantes, qui sont pourtant le cauchemar des systèmes de reconnaissance optique.

Les systèmes basés sur les marqueurs fiduciaires ne laissent pas toute liberté de mouvement : si vous vous approchez assez pour que le marqueur sorte partiellement du cadre, l’objet virtuel disparait. Avec ARKit, ce problème n’existe plus, on peut se positionner absolument n’importe comment, pénétrer à l’intérieur des objets virtuels et observer leurs moindres détails.

Comment ça marche ?

ARKit exploite non seulement la centrale inertielle de l’iPhone pour le situer dans l’espace, mais également la reconnaissance visuelle dans les images fournies par la caméra. ARKit identifie en permanence les points “intéressants” de l’image (c’est-à-dire ceux qui sont identifiables et qu’il est possible de tracker : contours, textures, angles, couleurs adjacentes, etc) et surveille leur déplacement relatif les uns aux autres.

En somme, ARKit transforme l’environnement lui-même en un gigantesque marqueur fiduciaire, le tout sans savoir à quoi il ressemble préalablement. Cependant, il ne suffit pas d’identifier et de tracker ces points pour y parvenir : en effet, la distance qui sépare deux points d’intérêt n’est pas susceptible d’être constante, étant donné les effets de la perspective, ou tout simplement de la présence d’un sujet en mouvement dans le cadre. Il faut donc non seulement identifier ces points, mais également déduire ce qu’il se passe dans l’image pour déterminer quoi en faire. C’est notamment par ce biais qu’ARKit détecte les plans horizontaux.


Les derniers dossiers sur WatchGeneration

Ailleurs sur le Web


30 Commentaires Signaler un abus dans les commentaires

avatar Malum lun, 03/07/2017 - 10:18

Pour que ce système sorte aujourd'hui cela veut dire que cela fait des années qu'Apple est sur le projet.
Rappelons que le MIT a placé Apple dans sa liste des entreprises les plus innovantes et qu'un cabinet spécialisé dans ce genre de classement en collationnant l'avis de milliers d'ingénieurs de sociétés de hautes technologies place Apple encore en fin 2016 pour l'entreprise la plus innovante. Il n'y a bien que le journalistes généralistes, et les spécialistes qui se font une spécialité d'aller dans le sens du courant ambiant des anti-Apple primaires, qui répètent en boucle ce que nos amis déblatèrent sur les forums à savoir qu'Apple n'innove plus depuis des années en oubliant les A, M et W, les haut-parleurs, la 3D touch, l'utilisation ergonomique des taptic engines, SWIFT, touch bar, les nouveaux claviers, les diverses techniques de refroidissement (même si cela fait hurler nos amis le MacPro en était un exemple frappant), l'earPod puis l'airPod, son nouveau haut parleur autonome, l'iPhone lui-même, et l'iPad avec son pencil etc.

avatar romainB84 lun, 03/07/2017 - 13:18

tu vas avoir des problèmes toi si tu commences à dire qu'apple innove et si en plus tu te met à dire qu'ils font du bon boulot la t'es complètement foutu ^^
Dans les commentaires, il faut juste dire qu'apple c'est de la me... que ça coûte cher, et que ça ne marche pas ^^
kiss à tout nos amis trolls ^^ :-D

avatar codeX lun, 03/07/2017 - 13:33

À ce propos, il faut remarqué que l'on n'entends pas beaucoup les haters de service. J'aurais apprécié qu'ils viennent nous expliquer pourquoi ARKit c'est de la daube.

avatar wai lun, 03/07/2017 - 13:58 via iGeneration pour iOS

@codeX
🤐 ils vont t'entendre 😁

avatar rikki finefleur lun, 03/07/2017 - 16:30

A inventé
- les écouteurs sans fils Bluetooth (bien sur)
- le lecteur de musique (rio ne doit rien lui dire).Apple a d'ailleurs perdu son procès.
- le stylet sur tablette, phone , ecran tactile (un truc décrié et inutile pour jobs, donc manifestement inventé avant, mais bon avec malum..)
- les hauts parleurs sans fil ( ha ?)
- les diverses techniques de refroidissement ( mais alors très très divers)

Au moins que malum oublie (mais non ! ) que d'autres proposaient déjà ces produits, et que manifestement apple a repris / copié / ces produits pour les mettre a son catalogue.
Mais bon c'est malum

Parfois faut fuir les fanboys, tellement ces derniers révisent l'histoire façon fête aux bretelles.
Il y a le même genre dans forums auto. Même genre de personnage.

@codex: toi tu confonds haters avec ceux qui révisent l'histoire proche du nimp, car défendant leurs actions aapl.. Quelle misère..

Franchement soyez un peu sérieux et a minimum un peu intègre dans vos délires d'aapl, Eviter de réviser un peu trop l'histoire et désolé si les gens ne croient pas tous des balivernes.

avatar codeX lun, 03/07/2017 - 18:32

Tu as parfaitement raison mon rikiki. Je reconnais bien volontiers que là où tu es situé tu es le seul à distiller cette vérité emprunte d'objectivité qui fait défaut à bon nombre de commentaires. Désormais, tes prêches seront mon carburant quotidien.

avatar wai lun, 03/07/2017 - 18:33 via iGeneration pour iOS

@rikki finefleur

Généralement j'étais quelque fois d'accord avec toi mes depuis quelque temps ben dsl ta haine d'Apple me dérange et comme je voix tes commentaires désobligeants je préfère plus les lire

avatar patrick86 lun, 03/07/2017 - 19:24

@rikki finefleur :

Dans votre réponse, vous confondez 'invention' et 'innovation'.

avatar romainB84 lun, 03/07/2017 - 18:44

Bah voilà!!!
Wai avait raison... t'as parlé trop fort, tu les a fait venir !! 😁

avatar Stardustxxx lun, 03/07/2017 - 15:12

@Malum
Apple innove, comme Google, Microsoft, IBM, Samsung, etc...
Facile a voir, il suffit de regarder les dépenses en R&D, la qualité de production etc.

Par contre, affirmer que tout ce sort Apple est innovant est ce que beaucoup critique.
Je te cite : nouveau clavier, technique de refroidissement, swift, le pencil pour iPad, etc..., Rien de vraiment innovant, on trouve la même chose chez les autres.

Moi je vois plus des critiques du marketing Apple qui utilise des termes comme révolutionnaire, magique pour décrire des améliorations qui le plus souvent existent chez la concurrence. Le fait qu'Apple implémente certaines fonctionnalité avec plus de soins que les autres n'est pas révolutionnaire en soi. Par contre c'est une des grands forces d'Apple.

Ici qu'est qui est innovant, l'AR ?
Non, Pokemon Go, Google Glass, Hololens ont déjà démontré l'intérêt de l'AR, sans compter les petites démos AR avec des cameras que l'on pouvait trouver de temps en temps dans des présentations ou des AG. AR n'est pas un concept nouveau.

L'innovation est la démocratisation, le fait d'avoir un framework (une api) facile a utiliser pour des devs et des devices qui peuvent l'utiliser.
Hololens va probablement plus loin avec l'AR, a deja une API, mais par contre ca coute 3000$ pour avoir les lunettes.

La sortie de ARKit n'est pas une surprise, cela fait un moment que Tim Cook parle d'AR, ca devait sortir.

Et c'est une très bonne chose, bravo Apple.

avatar Crkm mar, 04/07/2017 - 00:11 (edité)

LOL

Mettre une liste d'améliorations pour illustrer la soit disant innovation chez Apple, c'est assez fort. Innover, c'est pas améliorer, perfectionner une technologie existante, ou reprendre à l'identique une fonction présente chez la concurrence, comme la Touch Bar. À la limite on peut dire que Touch ID était une innovation car c'était le premier capteur d'empreintes fiable sur smartphone. Autrement, la dernière innovation matérielle chez Apple, c'est l'iPhone et l'iPad.

avatar reborn mar, 04/07/2017 - 11:21 via iGeneration pour iOS

@Crkm

L'innovation existe aussi en terme d'expérience utilisateur. Genre Apple pay.

avatar andr3 lun, 03/07/2017 - 12:46

Vision ... et si l'iPhone 8 et ARKit étaient les précurseurs de la voiture autonome d'Apple ?

Toute l'intelligence de la voiture dans un iPhone ...

avatar romainB84 lun, 03/07/2017 - 13:19

en tout cas, c'est sur que l'ARkit sera une brique essentielle pour un environnement de voiture autonome.

avatar ya2nick lun, 03/07/2017 - 13:46 via iGeneration pour iOS

Dans le premier épisode de Planet of the app, on voyait une startup qui développait un bon logiciel d'AR et qui hésitait entre fignoler son logiciel ou sortir son API. Ça se trouve Apple a racheté sa startup et utilise son api ? J'espère pour lui sinon son api est mort-née.

avatar Domsware lun, 03/07/2017 - 14:20 via iGeneration pour iOS

@ya2nick

C'est trop court comme délai pour intégrer une telle API. Je pencherai plutôt pour le rachat d'une entreprise comme MetaIO l'année dernière, entre autres...

avatar Vanton lun, 03/07/2017 - 13:53 via iGeneration pour iOS

Que ce soit techniquement impressionnant, soit. Mais à quoi ça sert ? Vraiment. Au quotidien qu'est ce que ça apporte à un individu lambda ?

Tant que personne ne répondra totalement à cette question cruciale la VR ira d'échec commercial en échec commercial.

Est-ce qu'Apple a une réponse ?

avatar Stardustxxx lun, 03/07/2017 - 15:14

@ Vanton
"Tant que personne ne répondra totalement à cette question cruciale la VR ira d'échec commercial en échec commercial."

Ca tombe bien on parle d'AR : Réalité augmentée.

avatar Vanton lun, 03/07/2017 - 18:41 via iGeneration pour iOS

@Stardustxxx

Exact j'ai fait une erreur. Je voulais dire AR. Cela dit je ne suis pas tellement plus convaincu par la VR que l'AR...

avatar Keor lun, 03/07/2017 - 14:46

La réalité virtuelle via smartphone c'est du gadget, vu le petit ecran que l'on a pour profiter du spectacle...
Je suis quand même bien plus impressionner par les travaux de Microsoft et de son holo Lens, les progrès sont impressionnants depuis la première démo.
https://youtu.be/FTPxUGRGpnA

avatar ovea lun, 03/07/2017 - 15:09 via iGeneration pour iOS

@Keor

… du … gadget … à écran 📺

La matrice t'a mangé la cervelle

avatar Stardustxxx lun, 03/07/2017 - 15:13

@ Keor
Il ne faut pas les voir l'un contre l'autre, mais plutôt que les approches sont complémentaires.

avatar ovea lun, 03/07/2017 - 15:08 via iGeneration pour iOS

Non mais chouette article, qui fait rappel d'instruments découverts pour ma part dans vos colonnes, comme le Lytro il y a un paquet de temps : ça c'est de l'innovation industrielle 😋

Belle découverte du démontage d'un des casques VR sans utilité par le centre NVIDIA research
et le lien fécond avec le principe holographique, la luminance énergétique, la 5D …

comme quoi les cartes graphique actuelle sont bien à côté de la plaque en terme de calcul pour ne prendre en compte que l'espace de paramètres des quaternions pour tournicoter sans fin et puis s'en aller.

Qu'en à Apple et sa soit disant notation qui fumerait les sommets … ça n'engage que les MITEUX. 🐑 Apple c'est le whouha !!
Mais aussi des utilisateurs++ qui se font racheter au bon moment … leur digestion étant total et inconditionnelle et une piste de réflexion pour les hateux 😅 (((zut j'adorais FingerWorks)))

avatar ovea lun, 03/07/2017 - 16:33 via iGeneration pour iOS

L'utilisateur n'est plus lambda c'est de l'autre côté de lorgnette qu'il faut toucher l'innovation lambda.

Non l'utilisateur est béta

Bêta, bétail, béta-testeur … mais ça n'a rien de péjoratif, attention ⚠️

L'application DOIT être lambda (par références au lambda-calcul) pour pouvoir s'adapter à l'utilisateur.

avatar _Teo_ lun, 03/07/2017 - 16:41 via iGeneration pour iOS

Je sa vie de ayez

avatar Mike Mac lun, 03/07/2017 - 19:56

Moi je pense que les grands promoteurs de la Réalité Augmentée vont encore être ces gougnafiers des agences de pub qui cherchent encore à faire clignoter plus de choses sous nos yeux.

Une bouillie visuelle et auditive en surimpression pour encore oblitérer nos neurones.

avatar Mike Mac lun, 03/07/2017 - 19:58

@Keor

"La réalité virtuelle via smartphone c'est du gadget, vu le petit ecran que l'on a pour profiter du spectacle..."

Toi, tu vois trop grand.

MacGe pense que le gros du marché c'est pour le timbre poste de l'Apple Watch.

La preuve ?

Cette news est sur WatchGeneration.

LOL

avatar Snakos lun, 03/07/2017 - 20:46 via iGeneration pour iOS

Il est indiqué dans l'article "des essais d'arkit dans le milieu de l'éducation et de la formation" on peut en savoir un peu plus sur le sujet ? Ou un lien ? Merci 🙂

avatar GaspardNic92 lun, 03/07/2017 - 22:37 via iGeneration pour iOS

Merci pour ce très bel article documenté, argumenté et qui démontre toute la pertinence et le sérieux de la road map qu'Apple suit depuis des années ; c'est ce que beaucoup sur ce forum semblent ignorer: tous ces efforts que l'on doit mettre derrière ces technologies apparemment encore hésitantes pour les faire marcher correctement, et qui sont les briques du futur AR world. On en reparle dans cinq ans, mais je suis sûre que nous assistons aux prémices solides d'une révolution ; bravo Apple!

avatar irep lun, 03/07/2017 - 23:19

1. Bravo pour la qualité d'écriture de l'article.

2. L'expérience VR ou AR peut être vraiment plaisante et aura même sans doute des vertus thérapeutiques (ça n'engage que moi).

3. Capacités Apple d'innover: il n'est pas inutile d'entendre l'avis subjectif des gens.

3.a Moi qui suis vraiment un vieux de la pomme, je ne me suis pas toujours demandé si cette firme innovait.

3.b OS Mac avait une image de convivialité indéniable, mais pour moi, c'est le premier iMac bonbon de plusieurs couleurs qui a véritablement renvoyé une image innovante au grand public. Ne fut-ce que grâce à la campagne publicitaire qu'Apple en faite: "No beige". C'est le design de la machine qui l'a rendue cool.

3.c ensuite, pour moi, les événements saillants chez Apple sont :
- QuickTime
- L'iMac blanc
- Les évolutions de la souris blanche, malgré les ratés de la petite bouboule :D, ont été pour moi un très agréable bon en avant.
- iTunes
- Le choc d'OS X sur Intel a été superbe.
- Toutes ces machines en alu comme l'iMac lui-même, les claviers, les portables (et leur finition, la campagne "Brick") ont donné une image classe, sérieuse, robuste ce qui a agrandi le public cible (je crois).
- La suppression du lecteur de disquette :)
- Un ange passe, longtemps.
- iPod Touch, iPhone, iPad : wow.
- Oui mais sur le Mac ? L'ange s'est endormi, ce n'est pas très grave. Le mien est un early 2008 (+SSD) et je suis créatif.
- Siri, mais tellement lent à évoluer.
- Idem pour la gestion du cloud !
- AppleWatch, je n'en suis pas convaincu (prix et autonomie).
- Apple Pencil, j'adore. En revanche, le discours d'Apple sur l'inadéquation du tactile pour les ordinateurs me laisse très très perplexe.

Ce n'est quand même pas mal comme curriculum pour une pomme! Et encore, j'ai oublié des trucs.

3.b Je ne sais même pas pourquoi je viens d'écrire tout ça, mais ça m'a fait voyager dans le temps… sans VR ou AR… :)

4. Salut à toutes et à tous. :)