FaceLit : ce framework d'Apple modélise un visage 3D à partir d'images
Apple a publié un nouveau framework, baptisé FaceLit. Celui-ci permet de générer un visage en 3D à partir d'images 2D standard, sans aucune intervention manuelle particulière. Le résultat peut être rendu dans diverses conditions d'éclairage et angles de vues définis par l'utilisateur.
La technologie repose sur l'apprentissage automatique et a l'avantage d'être moins contraignante que d'autres manipulations pour modéliser un visage en 3D : il faut généralement passer par un système de capture avancé et que des humains mettent les mains dans le cambouis. Le procédé d'Apple utilise le modèle de réflexion de Phong, et fait en sorte de produire des images photoréalistes avec une cohérence dans la 3D et l'éclairage.
La technologie est intéressante et devrait permettre de gagner du temps dans certains domaines. On pourrait plus facilement modéliser des visages dans certains projets en 3D, comme dans des jeux vidéos ou pour certains effets spéciaux.
Pour Apple, la technologie semble idéale pour la création d'avatars, qui pourraient être utilisés pour son casque de réalité virtuelle. Si l'appareil n'a pas encore été présenté, il devrait offrir des appels FaceTime réalistes qui profiteraient sans doute d'une telle nouveauté. Une note de recherche sur FaceLit a été publiée, et le code source est disponible sur GitHub.
A quand une option pour générer un Memoji à partir d’une image aussi 🥺!!
@cecile_aelita
pas con comme ID
@cecile_aelita
Ça, je ne comprends même pas que ce ne soit pas implémenté de base. L’iPhone scanne ta trombine pour FaceID et te propose un Memoji (modifiable) dans la foulée : il a toutes les données pour ensuite te faire gagner un temps non négligeable quand tu décides d’en créer un.
@Monsieur Lu
Je suis d’accord en effet 🫤
@Monsieur Lu
Oui en fait je croyais d’ailleurs que c’était le cas, tant cette fonction me semblait évidente… Quand je suis passé de l’iPhone 7 au 12, j’ai cherché avant de me rendre compte que non… si on veut se créer un memoji ressemblant il faut se regarder dans un miroir et tout faire manuellement, puisqu’Apple ne permet même pas de se prendre en photo pour comparer…
D’autant plus incompréhensible compte tenu du temps qui avait été alloué à cette futilité lors du Keynote…
@Monsieur Lu
« Ça, je ne comprends même pas que ce ne soit pas implémenté de base. L’iPhone scanne ta trombine pour FaceID et te propose un Memoji (modifiable) dans la foulée »
Oui, d’ailleurs c’est déjà implémentée. C’est comme prendre une photo sauf que ta tête est un Memoji.
@Monsieur Lu
C’est traité sur le smartphone : Apple évite de passer par les serveurs. Plus compliqué.
@cecile_aelita
On peut déjà le faire en temps réel.
@iPop
?
@cecile_aelita
??
@iPop
On ne peut pas donner une photo qu’il nous converti en Memoji.
Ou alors je veux bien le tuto 🙂.
Typiquement j’ai une photo de ma sœur et je voudrais en faire un Memoji?
@cecile_aelita
Ah ok.
@cecile_aelita
Il y a déjà des bribes de fonctions qui permettent ceci mais ça viendra accessible à tous et toutes 😌
@helloagain
Pour le moment on ne peut pas lui donner une photo en entrée pour qu’il me génère un Memoji 🙂!
Voir même soyons fou… à partir de l’application « photo » quand il a détecté les visages des personnes … qu’il utilise de l’apprentissage automatique pour générer un Memoji à partir de toutes ces informations 🙂
@cecile_aelita
La deuxième partie a très peu de chance d'arriver car les règles de confidentialité générales appliqués à iOS et Apple en général ne passeraient pas. Même si c'est généré en local ça ferait du profiling sans accord des personnes et ça c'est très peu probable. En revanche un mapping de création de Memoji en se basant sur l'enregistrement de faceid... c'est fort "probable".
@helloagain
Ils le font déjà en étant capable de détecter qui est sur la photo 🫤.
Je ne vois pas trop ce que ça changerait.
Pour un Memoji à partir de faceID, c’est bien mais pas top… vous n’allez pas scanner tous vos contacts avec FzceID un à un 🫤
@cecile_aelita
Les Memoji, c’est typiquement un truc qui semblait génial au départ mais qui est aujourd’hui largement sous exploité. C’est bien dommage.
@gwen
Oui je comprends que ça soit gadget pour beaucoup de gens 🙂!
Mais moi j’adore m’amuser à n’avoir que des têtes de memojis dans mes contacts 🙂
https://www.dropbox.com/s/xndpnzgi8xtqz7b/IMG_1875.jpg?dl=0
@cecile_aelita
Justement, il y a un potentiel énorme qu’Apple n’as pas su exploiter selon moi.
C’est à la fois une fonction simple et difficile à comprendre. Trop de restriction, pas assez d’ergonomie et aucune interactions avec d’autres applications.
Apple a voulu garder sa technologie au point de la brider et de la rendre trop contraignante pour une utilisation simple et amusante.
@cecile_aelita
L’avantage c’est qu’ils sont beaucoup plus beaux comme ça !
Comme les avatars créés par Voila al Artist sur la base de ma photo… 😢😂
@bozzo
Oui c’est vrai qu’ils sont super jolis !
C’est pour ça que j’essaie de mettre un Memoji à tous mes contacts 🙂
Apple publie son code sur GitHub maintenant ?? 🤔
@EricBM1
Si c’est open source Oui.
@EricBM1
Oui et c’est pas le seul projet…
@EricBM1
Il y a plein de projets sur GitHub :
- FoundationFB (iCloud)
- Swift
- WebKit
- bientôt, le framework Foundation
- etc…