Vous savez ce qu’il y a de mieux que jouer à Tetris ? Jouer à Tetris en réalité augmentée, directement sur le sol à vos pieds ! C’est la promesse d’ARTetris, un petit jeu réalisé avec ARKit, le nouveau framework de réalité augmentée d’iOS 11.

Ce n’est pas un jeu prêt à emploi, davantage un prototype fonctionnel. La jouabilité est très médiocre, mais l’effet est très impressionnant « en vrai ». Quand l’app a trouvé une surface suffisamment grande, elle installe une grille et lance un Tetris.

Vous pouvez voir l’environnement derrière la grille vide, et surtout, vous pouvez vous déplacer autour de la grille, vous éloigner et vous rapprocher. Sa position ne change jamais, c’est un point fort d’ARKit, si bien que vous pouvez admirer les briques de plus près ou bien prendre du recul sur la partie.

Le code source d’ARTetris, entièrement en Swift, est disponible sur GitHub. Si vous avez un Mac avec la bêta de Xcode, vous pourrez ainsi le compiler et l’installer sur un iPhone ou iPad sous iOS 11 et compatible ARKit.

Le câble de recharge pour Apple Watch avec son galet magnétique est vendu par Apple à partir de 35 €. Si vous trouvez que c’est trop cher, cette promotion devrait vous intéresser : ce câble de recharge certifié MFI est affiché pendant quelques heures à 26,34 €.

La certification garantit le bon fonctionnement du câble, mais le galet est différent de celui d’Apple. Il est un petit peu plus large et surtout plus épais. Son concepteur met en avant un aimant plus puissant, pour mieux maintenir la montre en place. En contrepartie, vous ne pourrez pas l’utiliser sur un support.

Vendu une trentaine d’euros en temps normal, le câble mesure deux mètres. La promotion est disponible dans la limite des stocks disponibles à cette adresse.

Les utilisateurs du Pokémon GO Plus sont en colère. Les fonctionnalités de ce bracelet se réduisent en effet comme peau de chagrin suite à la mise en ligne de la dernière mise à jour de Pokémon GO. Ce petit périphérique remplit deux fonctions : d'une part, lancer une PokéBall sur un Pokémon qui traine dans les parages, sans avoir besoin de dégainer son smartphone. Et d'autre part, on peut s'en servir à proximité d'un PokéStop pour récupérer toutes sortes d'équipements.

Le module à porter au bracelet ou sur soi a toujours rencontré des petits soucis embêtants, il ne permet par exemple que de lancer une seule PokéBall : si celle-ci rate la bestiole, c'est définitivement fichu. Et puis l'appareil est susceptible de faire planter l'application, ce qui n'est pas spécialement cool. Malgré tout, le Pokémon GO Plus reste apprécié car on n'a pas besoin de se balader avec son iPhone devant soi à tout moment.

Mais avec la dernière mise à jour, le jeu a transformé de nombreux PokéStops en gyms, des lieux virtuels où l'accessoire n'est d'aucune utilité. On trouve pourtant dans ces gyms des PhotoDisques qui permettent de récolter des objets, un peu comme les PokéStops… mais le périphérique ne sait qu'en faire. C'est donc de plus en plus difficile à avaler pour des joueurs qui ont déboursé 35 € pour le bracelet !

Si Pokémon GO est développé par Niantic (pour le compte de la Pokémon Company), le Pokémon GO Plus est un produit Nintendo. Et la communication entre les deux n'est pas évidente. Dans une discussion sur Silph Road, le Reddit des amateurs de Pokémon GO, on peut lire que le support de Nintendo n'a pas l'intention de modifier le comportement de l'accessoire. « Nous ne sommes au courant d'aucun projet pour réaliser des changements dans la façon de fonctionner [de l'appareil] ».

Avec la médiatisation de ce problème, peut-être que les choses vont s'améliorer. En attendant, c'est vrai que l'on peut comprendre la frustration des porteurs du Pokémon GO Plus. Quant à la version watchOS du jeu, elle sert surtout de traqueur d'activité finalement.

Avec iOS 11, Apple n’a pas présenté qu’une seule technologie d’avenir. Certes, ARKit est sans doute la nouveauté la plus impressionnante et le constructeur a fait un pas de géant dans le domaine de la réalité augmentée. Il ne faudrait pas oublier pour autant CoreML, un framework de Machine Learning qu’Apple utilisait en interne jusque-là, mais que les développeurs peuvent à leur tour exploiter (lire : Core ML : le cerveau pas si lent d'Apple).

Ce framework peut servir notamment à détecter des objets. Et en le combinant à la réalité augmentée fournie par ARKit, on devrait obtenir des solutions extrêmement utiles. Cette petite démonstration en donne un avant-goût : CoreML sert à détecter la banane et ARKit est exploité pour afficher des informations nutritives autour, comme si elles étaient posées sur la table.

Dans ce domaine, tout reste à inventer, mais à en juger à la quantité de projets en cours, on peut constater que les développeurs sont très motivés. Voilà qui promet pour la sortie d’iOS 11 et des apps associées à l’automne.

Restaurer une Apple Watch dont l'OS pose problème, ou bien depuis un watchOS en bêta vers l'actuelle version en circulation, oblige à faire un tour dans un Apple Store. Sinon, une autre méthode consiste à utiliser un petit accessoire comme l'iBus, un cousin des boitiers utilisés en Apple Store pour faire la même chose.

Cet iBus, associé à un adaptateur pour le faire tenir sur l'Apple Watch, entre en contact avec le port de maintenance (caché) dont disposent toutes les montres. De l'autre côté il a une prise Lightning pour la connexion au Mac. Ensuite, avec iTunes, on peut réinstaller un firmware sitôt que l'on a redémarré sa montre en mode DFU (Device Firmware Upgrade). Il faut se débrouiller par contre pour mettre la main sur les firmware dont on a besoin mais c'est assez facile.

Ce petit dispositif répond à des cas très particuliers mais il a le mérite d'exister. Un autre exemple est celui des Apple Watch de démo qui peuvent être, par ce biais, transformées en Apple Watch standard (*). L'iBus est du coup assez onéreux pour le quidam, comptez 100 $ pour le modèle compatible avec la première Apple Watch ainsi que la S1 ou 120 $ pour le modèle fonctionnant avec les S2.

Lors de son annonce, ARKit a fait beaucoup de bruit, y compris dans le landerneau de la recherche de pointe sur la réalité augmentée. Il faut dire que le framework d’Apple dépasse de la tête et des épaules tout ce qui s’est fait dans le domaine jusqu’à aujourd’hui. En outre, la robustesse exceptionnelle de son tracking (suivi du mouvement des éléments dans l'image, ndlr) ouvre des perspectives bien plus alléchantes que ce qui a été fait jusqu’ici.

En quoi ça consiste ?

Tout le monde ou presque est aujourd’hui familier avec la réalité augmentée, à mi-chemin de la réalité virtuelle et de la réalité tout court, qui consiste à incruster dans l’image captée par la caméra de l’iPhone des éléments qui s’affichent de façon cohérente avec l’environnement. De nombreuses applications s’y sont essayées : Ikea pour simuler la présence de ses meubles dans votre salon ; des filtres photographiques qui vous rajoutent des appendices loufoques en trois dimensions ; des Pokémon du quartier à attraper ; encore des flèches pour vous indiquer la route à prendre jusqu’au prochain McDo et autres bouches de métro.

Un assortiment de méthodes a jusqu’ici été mis au point pour réaliser ces incrustations afin qu’elles soient positionnées et orientées correctement en tenant compte du GPS, de la boussole, de l’accéléromètre et du gyroscope.

Autre approche, de façon purement optique, que ce soit via la reconnaissance faciale pour les filtres photos susmentionnés, ou encore à l’aide de marqueurs fiduciaires, cette dernière méthode étant la plus précise et la plus fiable (fiduciaire signifiant "auquel on peut se fier").

Dans ce cas, il s’agit d’images en 2D, dont l’apparence est connue par un algorithme, qui sont placées dans l’environnement. L'algorithme “reconnaît” le marqueur dans l’image et déduit précisément sa position et son orientation dans l’espace en identifiant les déformations dues à la perspective, ce qui lui donne un point de référence dans l’espace auquel il pourra “ancrer” un objet tridimensionnel.

Les méthodes optiques, si elles sont plus précises, ne sont pas pour autant sans inconvénients : que le marqueur ou le visage soit partiellement recouvert et le système “panique”, faisant disparaître l’incrustation ou lui donnant des coordonnées farfelues. Un effet de “décalage/rattrapage” se produit également lorsqu'occasionnellement l’algorithme ne parvient pas à identifier le marqueur sur une trame du flux vidéo.

Et c’est bien là où ARKit fait fort : non seulement son tracking est aussi fiable que s’il utilisait un marqueur fiduciaire, ce dont il s’exempte pourtant, mais en outre il maintient les objets virtuels à leur place, que la caméra soit totalement obstruée ou que l’endroit “réel” auquel l’objet est attaché sorte entièrement du champ. S’il arrive qu’un léger décalage se produise au fil des mouvements de caméra, ARKit se réétalonne automatiquement et replace l’objet à l’endroit prévu.

Mais ARKit ne s’arrête pas en si bon chemin : il détecte les plans horizontaux visibles à l’image (sol, tables), permettant de positionner dessus les objets virtuels, et procède à une estimation de l’éclairage ambiant, autre élément déterminant pour le réalisme des incrustations. Le tout en ne se laissant pas abuser par les surfaces transparentes et/ou réfléchissantes, qui sont pourtant le cauchemar des systèmes de reconnaissance optique.

Les systèmes basés sur les marqueurs fiduciaires ne laissent pas toute liberté de mouvement : si vous vous approchez assez pour que le marqueur sorte partiellement du cadre, l’objet virtuel disparait. Avec ARKit, ce problème n’existe plus, on peut se positionner absolument n’importe comment, pénétrer à l’intérieur des objets virtuels et observer leurs moindres détails.

Comment ça marche ?

ARKit exploite non seulement la centrale inertielle de l’iPhone pour le situer dans l’espace, mais également la reconnaissance visuelle dans les images fournies par la caméra. ARKit identifie en permanence les points “intéressants” de l’image (c’est-à-dire ceux qui sont identifiables et qu’il est possible de tracker : contours, textures, angles, couleurs adjacentes, etc) et surveille leur déplacement relatif les uns aux autres.

En somme, ARKit transforme l’environnement lui-même en un gigantesque marqueur fiduciaire, le tout sans savoir à quoi il ressemble préalablement. Cependant, il ne suffit pas d’identifier et de tracker ces points pour y parvenir : en effet, la distance qui sépare deux points d’intérêt n’est pas susceptible d’être constante, étant donné les effets de la perspective, ou tout simplement de la présence d’un sujet en mouvement dans le cadre. Il faut donc non seulement identifier ces points, mais également déduire ce qu’il se passe dans l’image pour déterminer quoi en faire. C’est notamment par ce biais qu’ARKit détecte les plans horizontaux.

Aussi impressionnant soit-il, le système a malgré tout des limites : il suffit que l’image ne contienne pas de points intéressants (mur blanc uniforme, ou pas assez de luminosité) ou que trop d’éléments se déplacent à l’image (foule, reflets d’un plan d’eau…) pour qu’il devienne difficile de faire une estimation fiable. Cependant ARKit tient compte de ces cas de figure et indiquera à l’utilisateur ce qu’il peut faire pour arranger les choses.

Il résulte de cette analyse des images trois éléments exploitables par n’importe quel développeur tirant parti d’ARKit : la matrice de transformation de l’iPhone (c’est-à-dire un groupe de vecteurs tridimensionnels incluant sa position et son orientation), les plans horizontaux détectés, et l’illumination de la scène. Les paramètres de la caméra sont également transmis afin qu’ils soient appliqués à son homologue virtuel et que les deux images se correspondent en tout point.

ARKit permet donc la prouesse d’un tracking d’une robustesse inégalée, comparable, voire supérieure, à ce que Google a pu obtenir avec sa plateforme Tango.

Le précédent de Tango

Il faut ici faire un bref aparté sur cette initiative de Google, la première à sortir du labo Google X en 2012. Menée par Johnny Lee (qui s’était fait remarquer il y a quelques années pour ses hacks de la Wiimote), cette plateforme cumule d’une part un jeu d’API dédié à la réalité augmentée et d’autre part des composants matériels permettant de capter les distances. Il en résulte une modélisation 3D en temps réel de l’environnement : Tango a une représentation tridimensionnelle fidèle et fiable de l’environnement non pas en déduisant ce que la caméra voit, mais bien par le biais de véritables relevés topographiques.

Mais la fragmentation d’Android étant ce qu’elle est, Tango n’a pas fait florès pour l’heure : depuis son annonce officielle en 2014, il n’y a à ce jour que deux smartphones qui intègrent Tango : le Lenovo Phab 2 Pro lancé en août 2016 et l’Asus Zenfone AR prévu pour cet été. Et les quelques annonces consacrées à Tango lors du dernier Google I/O ne donnent pas le sentiment que la plateforme a particulièrement le vent en poupe.

En conséquence, il n’y a qu’une poignée d’applications qui tirent parti de la plateforme, et Google se retrouve dans le paradoxe de l’œuf et de la poule : les consommateurs n’achèteront pas les smartphones compatibles Tango s’il n’y a pas suffisamment d’applications qui en profitent, et les développeurs ne produiront pas d’application utilisant Tango s’il n’y a pas assez d’utilisateurs sur la plateforme… sans parler de convaincre d’autres fabricants de smartphones de se jeter à l’eau.

Apple a résolu cette quadrature du cercle en rendant chaque appareil iOS disposant au minimum d’un processeur A9 compatible avec la réalité augmentée d’ARKit. Elle démarre ainsi avec un parc existant déjà très conséquent : iPhone 6s et SE minimum ou iPad 5 et Pro.

L’iPhone un peu plus “aware”

L’une des révolutions les plus fondamentales de l’iPhone est qu’il a ouvert l’accès du “monde réel” à l’ordinateur, permettant des applications qui lui étaient autrefois inaccessibles à cause même de son facteur de forme. Le seul fait de pouvoir emporter son iPhone partout, et de pouvoir capter son environnement, a permis une quantité de nouveaux services qui relevaient, il n’y a pas si longtemps encore, de la pure science-fiction.

Au fil des ans, Apple n’a cessé de greffer des organes sensoriels à son smartphone : capteurs de proximité et de luminosité, accéléromètre, GPS, boussole, gyroscope trois axes, baromètre, deux voire trois caméras, bref, outre une véritable centrale inertielle digne d’un cockpit d’avion, tout ce qu’il est possible d’intégrer pour mettre l’environnement à portée d’analyse du processeur de l’iPhone.

Au-delà même de ces organes, diverses technologies comme la triangulation Wi-Fi ou encore les iBeacon exploitent les ondes radio pour améliorer encore la géo-localisation. Chacun de ces “sens” a offert à l’iPhone les moyens de rendre de nouveaux services. À l’aune des informations industrielles que l'on a (lire iPhone 8 : STMicroelectronics fournira des imageurs 3D à Apple), mais surtout de la présentation d’ARKit, il ne fait aucun doute que le prochain iPhone disposera d’un capteur de profondeur.

Mais… pour quoi faire ?

Pourquoi diable intégrer une caméra temps de vol à l’iPhone 8 si ARKit fait déjà aussi bien que Tango sans même avoir besoin d’un capteur de profondeur ? Pour plusieurs raisons.

D’abord pour la gestion des collisions : si ARKit est capable de détecter les plans horizontaux sur lesquels faire reposer les objets virtuels, il n’en est pas de même pour tous les autres angles, et si vous faites rouler un ballon virtuel au sol il ne rebondira pas sur les obstacles sur sa trajectoire, que ce soit vos murs ou votre canapé.

D’autre part, un capteur de profondeur est également nécessaire pour gérer les occlusions, faute de quoi, les objets virtuels s’afficheront en surimpression de tout objet passant à l’avant plan, de quoi ruiner l’illusion de l’incrustation. Enfin, un capteur de profondeur permettra à l’iPhone de percevoir tous les volumes de l’environnement et de pouvoir les traiter, permettant de libérer le plein potentiel de la réalité augmentée.

On pourrait considérer qu’il s’agit là d’une débauche de technologie s’il ne s’agit que d’afficher des oreilles de chien sur des selfies rigolos, mais si les applications de réalité augmentée n’ont jusqu’ici fait figure que de plaisants gadgets, ça n’est que par les limitations du tracking, limitations qui sont donc sur le point de s’envoler, comme les démos de mesure avec ARKit permettent de le… mesurer.

Et les applications en deviennent autrement plus intéressantes : navigation en intérieur ultra précise, éducation et formation, tourisme, et même… véhicules autonomes ! Le capteur de profondeur à lui seul permet également d’envisager des applications pour l’accessibilité, l’iPhone remplaçant la canne blanche ou le chien-guide pour les malvoyants et les équipant d’un sonar à moyenne portée, traduisant les volumes environnants en impulsions sonores.

Mais il ne s’agit là que d’un premier pan, qui ouvre la voie à nombre de problèmes plus ou moins compliqués, notamment en matière d’intelligence artificielle : lorsque votre chambre à coucher devient le niveau d’un jeu en réalité augmentée, il faut que le level design et les animations s’adaptent à la configuration physique des volumes pour fournir un contenu cohérent et fonctionnel. Apple a dans son escarcelle une petite poignée de sociétés innovantes en matière de réalité augmentée, dont MetaIO, acquise en 2015, qui permet de reconnaître des objets physiques pour en faire des marqueurs fiduciaires pour la réalité augmentée, mais également Flyby Media et indoor.io.

Tim Cook a estimé que la réalité augmentée pourrait être une technologie aussi importante que l’iPhone à lui seul. Et les projections économiques vont également dans ce sens : elles accordent un marché de 120 milliards de dollars d’ici 2020 (contre 30 milliards pour la réalité virtuelle).

D’ici à la sortie d’iOS 11, les développeurs vont donc se précipiter avec gourmandise sur cette merveille de technologie, comme on peut le voir sur le site Made with ARKit consacré à leurs divers essais. Dans quelques mois, Apple disposera non seulement d’une plateforme mure pour la réalité augmentée, mais également d’un catalogue d’applications. Toutes les pièces du puzzle seront alors en place, il ne manquera plus qu’une paire de lunettes pour compléter le tableau…

Et la suite ?

Depuis les premières annonces d'Oculus en 2012, la réalité virtuelle se trouve un second souffle. L'idée, à vrai dire, ne date pas d'aujourd'hui : Jaron Lanier formalisait ses principes dès 1985 (à l'aide de Swivel 3D sur Macintosh), sans jamais que la technologie n'aboutisse à quoi que ce soit de bien probant commercialement parlant depuis.

Les choses avancent dorénavant : Facebook, Google, Sony et d'autres s'investissent sérieusement dans le domaine. Mais si l'on peut acquérir un casque de réalité virtuelle en bonne et due forme et trouver quelques jeux et applications pour cette nouvelle plateforme matérielle, la technologie demeure désespérément à quelques années de la maturité technique. Casques trop lourds et volumineux, gourmandise intimidante sur la puissance de calcul, tarifs élevés… elle se réserve encore aux early adopters. Tout indique cependant que les planètes sont sur le point de s'aligner.

La prochaine génération de lunettes VR/AR ne vous collera plus d'écrans LCD en face des yeux au travers de lentilles, mais passera à la projection de champs lumineux (light fields). Objet d'intenses recherches depuis quelques années (les premières publications du Siggraph qui s'y consacrent remontent à une vingtaine d'années), le principe est holographique au sens étymologique du terme, puisqu'il consiste à reproduire l'intégralité des rayons lumineux d'une scène dans l'espace, ce qui offre l'avantage de se passer des fameuses lentilles qui contribuent à l'épaisseur et au poids non négligeables des casques de réalité virtuelle.

Le tout en permettant à l'utilisateur de faire le point sur n'importe quelle distance comme il le ferait naturellement, un élément indispensable pour l'incrustation réaliste d'objets en réalité augmentée. C'est tout le propos du mystérieux projet de Magic Leap dans lequel Google a investi pas moins de 1,4 milliard de dollars, mais d'autres comme Avegant ou encore Nvidia travaillent sur des projets similaires.

Les avantages ne s'arrêtent pas là puisque le rendu light field peut également permettre de réduire considérablement les besoins en puissance de calcul : au lieu de calculer une quantité astronomique de polygones en 3D en temps réel, un simple polygone peut contenir l'équivalent de toute l'information d'un hologramme dans sa texture.

Et tout un pipeline de production est d'ores et déjà en place pour les contenus réalisés en light field : des caméras 6DoF (pour Six Degrees of Freedom, permettant de modifier le point de vue a volonté) de Lytro et de Facebook, aux logiciels dédiés d'Otoy en passant par les plateformes de diffusion. Un niveau de maturité dont Apple a pour habitude de se saisir pour changer la donne… et elle vient de poser ses premiers pions pour mettre en place son propre écosystème. Quoi qu'il en soit, une chose est sûre : ce nouveau champ de prospection technologique pourrait bien exploser dans les mois à venir.

C’est cet automne que Fitbit devrait finalement lancer sa première vraie montre connectée. Il existe bien la Blaze, qui est ce qui se rapproche le plus de cette catégorie, mais le constructeur l’a toujours présentée comme une « montre intelligente pour le sport ». La smartwatch actuellement en développement offrira un panel plus large de possibilités, notamment une boutique d’applications s’appuyant sur un SDK maison.

De fait, c’est une toute nouvelle plateforme qu’est en train de concevoir Fitbit, qui aura fort à faire pour concurrencer Tizen, Android Wear et surtout watchOS. Bloomberg confirme le retard pris par le fabricant de bracelets connectés : la montre devait sortir au printemps, mais la mise au point de l’écosystème logiciel prend plus de temps que prévu (lire : Fitbit en panne d’apps pour sa montre connectée). Il va être plus difficile d’attirer des développeurs dont le temps est déjà compté sur les autres plateformes même si Fitbit leur proposera de concevoir des apps en JavaScript.

De plus, le constructeur a fait face à un scepticisme en interne, la montre étant jugée assez banale. Elle devrait être vendue sous les 300 $. Histoire de ne pas mettre tous ses œufs dans le même panier, Fitbit développe aussi de nouvelles versions de ses bracelets connectés : Charge plus fin, nouvelle génération du Blaze avec un grand écran couleur, ainsi qu’un pèse-personne connecté, une première pour le fabricant. Mais là aussi, la concurrence est féroce…