Imparare l'alfabeto delle dita con il tracciamento della mano

All'inizio dell'anno Oculus, società controllata da Facebook, ha attivato il tracciamento delle mani e delle dita per l'Oculus Quest. L'esempio di Cédric Girardin, studente dell'Università di Scienze Applicate di Berna, dimostra che sono possibili casi d'uso interessanti. Ha sviluppato un'applicazione VR in cui è possibile imparare l'alfabeto delle dita per il linguaggio dei segni.

Chiunque impari le lingue con un'app conosce il problema. Spesso i programmi non forniscono un feedback sulla correttezza della pronuncia. Lo stesso problema si presenta con il linguaggio dei segni. Il gesto è ora completamente corretto?

Cédric Girardin, studente dell'Università di Scienze Applicate di Berna, ha programmato un'applicazione VR per Oculus Quest che rende molto più facile imparare l'alfabeto con le dita piuttosto che a occhio, grazie al tracciamento della mano.

Feedback sul tracciamento della mano

L'applicazione offre una modalità di apprendimento e una modalità di prova. Nella modalità di apprendimento, viene visualizzata una lettera dell'alfabeto tedesco insieme a un modello 3D della mano corrispondente e alla posizione delle dita. Grazie al tracciamento della mano di Oculus Quest, è possibile copiare la figura raffigurata con la propria mano nella realtà virtuale e far convalidare la corrispondenza dalla macchina.

La modalità di prova funziona in modo simile, ma non viene visualizzato il modello 3D. L'allievo deve richiamare a memoria il segno delle dita.

Il tracciamento della mano non funziona ancora con alcuni gesti

Per la convalida della posizione della mano e delle dita, vengono valutate le distanze delle dita, gli angoli tra loro e l'orientamento della mano. L'applicazione può valutare fino a 23 segni della mano dell'alfabeto tedesco.

Mancano le lettere R, J e Z. Il motivo: il tracciamento della mano è ancora sovraccarico per questi caratteri. Per la lettera R è necessario incrociare le dita, mentre per la J e la Z sono necessari i movimenti delle dita. Inoltre, il tracciamento ha ancora problemi a riconoscere i gesti che puntano lontano dalla fotocamera.

L'applicazione per l'allenamento VR è il progetto finale di Girardin ed è stata programmata in due settimane presso il Computer Perception & Virtual Reality Lab dell'Università di Scienze Applicate di Berna. Su Reddit, Girardin ha dichiarato che continuerà a sviluppare l'applicazione se il laboratorio ne vedrà la necessità. Un'applicazione del genere avrebbe sicuramente un potenziale, soprattutto se potesse incorporare altri linguaggi basati sui gesti.