Apple utilise ARKit pour le contact visuel Facetime

Apple présente ce qui est sans doute le filtre facial en réalité augmentée le plus impressionnant à ce jour.

Le logiciel de chat vidéo FaceTime d'Apple arrive dans iOS 13 avec un nouveau logiciel qui porte le nom évocateur de "correction de l'attention" : si l'utilisateur regarde l'écran au lieu de la caméra pendant un chat vidéo, le logiciel corrige son regard de manière à ce qu'il semble tout de même regarder la caméra - et ainsi maintenir un contact visuel numérique.

Cet effet est censé résoudre un problème courant dans les vidéoconférences : à savoir que les participants à la conférence se regardent mutuellement sur l'écran et se frôlent ainsi au lieu d'échanger des regards par le biais de la caméra.

Les mouvements oculaires dans des directions hors de l'écran sont transmis normalement. La correction de l'attention peut aussi être complètement désactivée.

Filtre facial AR avancé

D'un point de vue technique, la correction des yeux est une astuce de réalité augmentée telle qu'on la connaît avec les Snaps et les filtres faciaux de Facebook : la mesure faciale 3D "TrueDepth" des modèles iPhone XS, XS Max et XR permet de créer une carte de profondeur du visage.

Dans cette carte de profondeur, le logiciel ARKit d'Apple peut ensuite superposer avec précision les yeux numériques sur les yeux réels.

Le groupe travaille sur des avatars VR très réalistes qui synchronisent même les mouvements des yeux avec l'homme original, mais qui n'offrent pas encore de contact visuel direct en raison des distorsions de la caméra.

Source : mixed