Fingeralphabet mit Handtracking lernen

Die Facebook-Tochter Oculus hat anfangs Jahr das Hand- und Fingertracking für die Oculus Quest aktiviert. Dass damit interessante Use Cases möglich sind, zeigt das Beispiel von Cédric Girardin, einem Student der Berner Fachhochschule. Er entwickelte eine VR-Anwendung, in welcher man das Fingeralphabet für die Zeichensprache erlernen kann.

Wer Sprachen mit einer App lernt, kennt das Problem. Oft geben die Programm keine Rückmeldung, ob man etwas richtig ausspricht. Genau das gleiche Problem zeigt sich auch bei der Gebärdensprache. Ist die Geste nun ganz korrekt?

Cédric Girardin, ein Student der Berner Fachhochschule, programmierte eine VR-App für Oculus Quest, mit der man das Fingeralphabet dank Handtracking viel leichter lernen kann als von blossem Auge.

Feedback über die Handtracking

Die Anwendung bietet einen Lern- und einen Prüfmodus. Im Lernmodus wird ein Buchstabe des deutschen Alphabets samt eines 3D-Modells der entsprechenden Hand- und Fingerstellung dargestellt. Dank des Handtrackings der Oculus Quest kann man die dargestellte Figur mit der eigenen Hand in der Virtual Reality nachmachen und die Übereinstimmung maschinell validieren lassen.

Der Prüfmodus funktioniert ähnlich, nur dass kein 3D-Modell angezeigt wird. Der Lernende muss das Fingerzeichen aus dem Gedächtnis abrufen.

Handtracking versagt noch bei bestimmten Gesten

Für die Validierung der Hand- und Fingerstellung werden die Distanzen der Finger, deren Winkel zueinander und die Orientierung der Hand ausgewertet. Die Anwendung kann bis zu 23 Handzeichen des Deutschen Alphabets auswerten.

Die Buchstaben R, J und Z fehlen. Der Grund: Das Handtracking ist bei diesen Zeichen noch überfordert. Beim Buchstaben R muss man die Finger überkreuzen und J und Z erfordern Fingerbewegungen. Ausserdem hat das Tracking noch Probleme, Gesten zu erkennen, die von der Kamera wegzeigen.

Die VR-Trainingsapp ist Girardins Abschlussarbeit und wurde binnen zweier Wochen am Computer Perception & Virtual Reality Lab der Berner Fachhochschule programmiert. Bei Reddit sagt Girardin, dass er die App weiterentwickeln wird, sofern das Labor Bedarf sieht. Potenzial hätte eine solche App auf jeden Fall, vor allem dann, wenn sie weitere gestenbasierte Sprachen in sich aufnehmen könnte.