Apprendre l'alphabet digital avec le suivi de la main

Au début de l'année, Oculus, filiale de Facebook, a activé le tracking des mains et des doigts pour l'Oculus Quest. L'exemple de Cédric Girardin, un étudiant de la Haute école spécialisée bernoise, montre que des cas d'utilisation intéressants sont ainsi possibles. Il a développé une application VR dans laquelle on peut apprendre l'alphabet des doigts pour la langue des signes.

Ceux qui apprennent les langues avec une application connaissent le problème. Souvent, les programmes ne donnent pas de feedback pour savoir si l'on prononce quelque chose correctement. C'est exactement le même problème avec la langue des signes. Le geste est-il correct ?

Cédric Girardin, un étudiant de la Haute école spécialisée bernoise, a programmé une application VR pour Oculus Quest, qui permet d'apprendre l'alphabet digital beaucoup plus facilement qu'à l'œil nu grâce au suivi de la main.

Commentaires sur le suivi de la main

L'application propose un mode d'apprentissage et un mode de vérification. En mode apprentissage, une lettre de l'alphabet français est représentée avec un modèle 3D de la position correspondante de la main et des doigts. Grâce au handtracking de l'Oculus Quest, il est possible de reproduire la figure représentée avec sa propre main dans la réalité virtuelle et de faire valider la correspondance par la machine.

Le mode vérification fonctionne de manière similaire, sauf qu'aucun modèle 3D n'est affiché. L'apprenant doit rappeler le signe du doigt de mémoire.

Le suivi de la main échoue encore avec certains gestes

Pour valider la position de la main et des doigts, l'application évalue les distances des doigts, leurs angles les uns par rapport aux autres et l'orientation de la main. L'application peut évaluer jusqu'à 23 signes de la main de l'alphabet allemand.

Les lettres R, J et Z manquent. La raison : le suivi manuel est encore trop sollicité pour ces caractères. Pour la lettre R, il faut croiser les doigts et les lettres J et Z nécessitent des mouvements des doigts. De plus, le tracking a encore du mal à reconnaître les gestes qui s'éloignent de la caméra.

L'application d'entraînement VR est le travail de fin d'études de Girardin et a été programmée en deux semaines au Computer Perception & Virtual Reality Lab de la Haute école spécialisée bernoise. Sur Reddit, Girardin déclare qu'il continuera à développer l'application si le laboratoire en voit le besoin. Une telle application aurait en tout cas du potentiel, surtout si elle pouvait intégrer d'autres langues basées sur les gestes.