Comprendre les sourds avec la RA

L'intelligence artificielle et la réalité augmentée (RA) combinées pourraient un jour faciliter la communication entre les entendants et les sourds. Un étudiant a développé une application qui reconnaît et traduit en temps réel les gestes de l'alphabet digital.

Des programmes d'intelligence artificielle aident déjà les sourds et les muets à communiquer en traduisant le langage parlé en langage écrit. Le chemin de communication inverse, c'est-à-dire de la personne sourde à la personne entendante, s'avère plus difficile, car la majorité ne comprend ni l'alphabet digital ni la langue des signes.

Ricardo Santana étudie l'ingénierie aérospatiale à l'Université technique de Delft (Pays-Bas), où il s'occupe entre autres de technologie IA. Dans le cadre d'un de ses projets de recherche, Santana a entraîné une IA à reconnaître des caractères de l'alphabet digital nord-américain.

Les lunettes AR aident à comprendre

L'application lui permet d'afficher chaque lettre uniquement par des gestes. L'IA reconnaît les caractères en temps réel et affiche la lettre en question au-dessus de la main.

Si les lunettes AR s'imposent un jour, elles pourraient traduire les gestes directement dans le champ de vision de l'utilisateur et l'aider ainsi à communiquer. Cela a un grand impact sur de nombreuses personnes : Selon Human Rights Watch, plus de 70 millions de personnes dans le monde utilisent la langue des signes. Pour eux, la RA ferait tomber une grande barrière.

Le suivi de la main de Quest permet la communication avec les sourds

La technologie devrait en outre aider les personnes entendantes à apprendre l'alphabet digital ou la langue des signes. Nous avons déjà pu observer les premières innovations dans ce sens avec la réalité virtuelle : Un étudiant suisse a développé une application VR pour la Quest, dans laquelle on peut s'entraîner à l'alphabet digital en reproduisant les signes avec ses propres mains, comme nous l'avons déjà rapporté.

Diverses applications montrent que la VR et la RA peuvent aider les personnes souffrant de diverses limitations physiques. Il existe ainsi diverses approches pour les aveugles, dans lesquelles la RV doit permettre de "voir" ou d'"explorer des espaces", comme le montrent différentes applications. Rapports ont déjà montré.

Source : Mixed