{"id":17145,"date":"2020-06-17T07:15:33","date_gmt":"2020-06-17T07:15:33","guid":{"rendered":"https:\/\/vr-room.ch\/?p=17145"},"modified":"2020-06-12T07:24:07","modified_gmt":"2020-06-12T07:24:07","slug":"fingeralphabet-lernen-mit-handtracking","status":"publish","type":"post","link":"https:\/\/vr-room.ch\/fr\/2020\/06\/17\/fingeralphabet-lernen-mit-handtracking\/","title":{"rendered":"Apprendre l'alphabet digital avec le suivi de la main"},"content":{"rendered":"

Au d\u00e9but de l'ann\u00e9e, Oculus, filiale de Facebook, a activ\u00e9 le tracking des mains et des doigts pour l'Oculus Quest. L'exemple de C\u00e9dric Girardin, un \u00e9tudiant de la Haute \u00e9cole sp\u00e9cialis\u00e9e bernoise, montre que des cas d'utilisation int\u00e9ressants sont ainsi possibles. Il a d\u00e9velopp\u00e9 une application VR dans laquelle on peut apprendre l'alphabet des doigts pour la langue des signes.<\/h3>\n

Ceux qui apprennent les langues avec une application connaissent le probl\u00e8me. Souvent, les programmes ne donnent pas de feedback pour savoir si l'on prononce quelque chose correctement. C'est exactement le m\u00eame probl\u00e8me avec la langue des signes. Le geste est-il correct ?<\/p>\n

C\u00e9dric Girardin, un \u00e9tudiant de la Haute \u00e9cole sp\u00e9cialis\u00e9e bernoise, a programm\u00e9 une application VR pour Oculus Quest, qui permet d'apprendre l'alphabet digital beaucoup plus facilement qu'\u00e0 l'\u0153il nu gr\u00e2ce au suivi de la main.<\/p>\n

Commentaires sur le suivi de la main<\/h3>\n

L'application propose un mode d'apprentissage et un mode de v\u00e9rification. En mode apprentissage, une lettre de l'alphabet fran\u00e7ais est repr\u00e9sent\u00e9e avec un mod\u00e8le 3D de la position correspondante de la main et des doigts. Gr\u00e2ce au handtracking de l'Oculus Quest, il est possible de reproduire la figure repr\u00e9sent\u00e9e avec sa propre main dans la r\u00e9alit\u00e9 virtuelle et de faire valider la correspondance par la machine.<\/p>\n

Le mode v\u00e9rification fonctionne de mani\u00e8re similaire, sauf qu'aucun mod\u00e8le 3D n'est affich\u00e9. L'apprenant doit rappeler le signe du doigt de m\u00e9moire.<\/p>\n

Le suivi de la main \u00e9choue encore avec certains gestes<\/h3>\n

Pour valider la position de la main et des doigts, l'application \u00e9value les distances des doigts, leurs angles les uns par rapport aux autres et l'orientation de la main. L'application peut \u00e9valuer jusqu'\u00e0 23 signes de la main de l'alphabet allemand.<\/p>\n

Les lettres R, J et Z manquent. La raison : le suivi manuel est encore trop sollicit\u00e9 pour ces caract\u00e8res. Pour la lettre R, il faut croiser les doigts et les lettres J et Z n\u00e9cessitent des mouvements des doigts. De plus, le tracking a encore du mal \u00e0 reconna\u00eetre les gestes qui s'\u00e9loignent de la cam\u00e9ra.<\/p>\n

L'application d'entra\u00eenement VR est le travail de fin d'\u00e9tudes de Girardin et a \u00e9t\u00e9 programm\u00e9e en deux semaines au Computer Perception & Virtual Reality Lab de la Haute \u00e9cole sp\u00e9cialis\u00e9e bernoise. Sur Reddit, Girardin d\u00e9clare qu'il continuera \u00e0 d\u00e9velopper l'application si le laboratoire en voit le besoin. Une telle application aurait en tout cas du potentiel, surtout si elle pouvait int\u00e9grer d'autres langues bas\u00e9es sur les gestes.<\/p>\n

\n
\n
\n
\n