Une meilleure vision grâce à la réalité augmentée

Les opérations de l'œil sont un travail de précision. Grâce à une nouvelle plateforme de simulation basée sur la réalité augmentée, les médecins peuvent s'exercer aux interventions en trois dimensions sur un modèle virtuel.

Depuis des mois, de futurs ophtalmologues se rendent au laboratoire de Marino Menozzi, privat-docent à la chaire Consumer Behavior, afin d'exercer leur dextérité pour l'opération de la gliose épirétinienne. Une telle opération est nécessaire lorsque la membrane de tissu conjonctif entourant le corps vitré de l'œil s'opacifie et exerce une traction sur la rétine, ce qui peut entraîner des déchirures. Conséquence : une vision fortement réduite.

Opération difficile avec AR

Une telle opération nécessite beaucoup de doigté et d'expérience. C'est pourquoi les futurs médecins assistent souvent à l'opération pendant des années et s'entraînent en outre sur des modèles en plastique et sur des animaux vivants. Cette dernière méthode est complexe et soulève des questions éthiques.

C'est là que les lunettes Robocop entrent en jeu dans le laboratoire de Menozzi : on s'y exerce virtuellement et à l'aide de la réalité augmentée. En enfilant les lunettes, un œil virtuel agrandi huit fois apparaît en suspension dans l'air - exactement le grossissement avec lequel les chirurgiens opèrent normalement sous le microscope. L'œil agrandi est affiché ainsi que les instructions pour l'opération qui apparaissent dans le champ de vision. Par exemple, des flèches, des lignes et des cercles qui indiquent au praticien un chemin idéal à suivre avec la pincette. L'environnement réel apparaît autour de l'œil agrandi, c'est pourquoi les sujets peuvent également voir leurs mains et la position de l'instrument chirurgical.

Comme chaque mouvement de la main est enregistré par les mini-caméras de la planche et transmis aux lunettes, l'ordinateur peut calculer avec précision la précision avec laquelle un sujet a travaillé. En outre, les futurs chirurgiens peuvent suivre virtuellement un "tutorat intelligent". En d'autres termes, un algorithme calcule les étapes de l'opération qui ont été réalisées avec succès et celles qui ont posé problème. Sur cette base, une séquence d'exercices est composée, promettant un effet d'apprentissage maximal. "Nous espérons ainsi améliorer l'effet de formation, de sorte que les futurs médecins soient plus rapidement prêts pour les opérations et fassent moins d'erreurs", explique Menozzi.

Manque d'haptique et de délai

Actuellement, l'utilité et l'acceptation de la simulation sont testées dans le cadre de trois travaux de master et avec 23 futurs médecins. Gian-Luca Köchli est l'un d'entre eux. Il est en dernière année de médecine et a déjà testé le simulateur AR à six reprises. Son bilan : "La simulation est très sensible et précise ; j'ai été étonné de voir à quel point cela semblait déjà réaliste". En revanche, il a trouvé gênant que les images apparaissent sur les lunettes avec un léger décalage par rapport au mouvement réel. De plus, il manque encore une haptique réaliste. Sur le fond, il trouve que l'approche consistant à s'exercer à la chirurgie sur un simulateur est prometteuse avant de s'attaquer à l'homme.

Menozzi voit actuellement trois grands défis : Comme les images virtuelles, qui dépendent des mouvements de la main, sont d'abord calculées par un ordinateur et envoyées sur les lunettes par WLAN, elles apparaissent, comme nous l'avons dit, avec un retard de 20 à 30 millisecondes. Le temps de latence est donc encore trop élevé, constate Menozzi. Deuxième défi : certains sujets réagissent à certaines simulations par des vertiges ou même des vomissements. Troisième défi : le sentiment de présence pendant la simulation. "Elle est pour nous un indice important de la capacité des résultats obtenus pendant une simulation à être transférés dans la réalité", explique Menozzi. Actuellement, le champ de vision est par exemple encore très limité. Alors que le champ de vision naturel couvre un angle d'environ 200°, il n'est que de 35° avec les lunettes de réalité mixte. Pour une impression réaliste, il faudrait 120°. L'acoustique, l'odeur et le toucher pourraient également renforcer la présence.

"App Store" pour les simulations

Sandro Ropelato, qui développe le simulateur dans le cadre de sa thèse de doctorat, est convaincu que le potentiel de cette technologie va bien au-delà de la chirurgie oculaire. D'autres opérations délicates et risquées pourraient à l'avenir être modélisées au préalable pour la simulation AR, ce qui permettrait aux médecins de s'exercer à tous les gestes dans le modèle virtuel. Il voit d'autres domaines d'application dans l'électronique, par exemple pour la préparation de plaquettes de silicium pour les puces électroniques.

La vision à long terme de Ropelato : une sorte d'"App Store" avec différentes simulations pour sa configuration matérielle, composée d'Hololens, de microcaméras et d'ordinateurs. La simulation 3D est en effet basée sur "Unity", qui est en fait un logiciel de jeu, mais qui s'est imposé pour toutes sortes d'applications AR et VR. C'est pourquoi des milliers d'éléments logiciels sont disponibles sur le web, qu'il suffit d'adapter à ses propres applications. Ropelato et Menozzi prévoient à moyen terme de créer une spin-off pour commercialiser la plateforme de simulation. "Mais avant cela, nous devons encore beaucoup apprendre des utilisateurs", souligne Menozzi. "Leur acceptation est décisive pour notre succès".

Source : ethz