Più prospettiva grazie alla realtà aumentata

Le operazioni sull'occhio sono un lavoro di precisione. Con una nuova piattaforma di simulazione basata sulla realtà aumentata, i medici possono esercitarsi nelle operazioni tridimensionali su un modello virtuale.

Per mesi, gli oftalmologi in erba hanno visitato il laboratorio di Marino Menozzi, professore associato del Dipartimento di Comportamento dei Consumatori, per esercitarsi nella chirurgia della gliosi epiretinica. Tale intervento si rende necessario quando la membrana di tessuto connettivo che circonda il corpo vitreo dell'occhio si intorbida ed esercita una trazione sulla retina, che può portare a lacerazioni. Il risultato è una visione gravemente compromessa.

Operazione difficile con AR

Un'operazione di questo tipo richiede molto tatto ed esperienza. Pertanto, i futuri medici spesso assistono per anni e praticano l'operazione anche su modelli di plastica e su animali vivi. Quest'ultima operazione richiede molto tempo e solleva questioni etiche; inoltre, i movimenti difficili non possono essere praticati ripetutamente.

È qui che entrano in gioco gli occhiali Robocop nel laboratorio di Menozzi: l'addestramento è virtuale e con l'aiuto della realtà aumentata. Se si indossano gli occhiali, un occhio virtuale ingrandito otto volte appare fluttuando nell'aria di fronte a noi - esattamente l'ingrandimento con cui i chirurghi operano normalmente al microscopio. L'occhio ingrandito viene visualizzato insieme alle istruzioni per l'operazione che appaiono nel campo visivo. Ad esempio, frecce, linee e cerchi che indicano al tirocinante il percorso ideale da seguire con il forcipe. L'ambiente reale appare intorno all'occhio ingrandito, per cui i partecipanti al test possono vedere anche le loro mani e la posizione dello strumento chirurgico.

Poiché ogni movimento della mano viene registrato dalle mini telecamere sulla lavagna e trasmesso agli occhiali, il computer è in grado di calcolare esattamente la precisione con cui il soggetto ha lavorato. Inoltre, i chirurghi in erba possono essere sottoposti a un "tutoraggio intelligente" virtuale. In altre parole, un algoritmo calcola quali fasi dell'operazione sono state eseguite con successo e quali sono state difficili. In base a ciò, viene messa a punto una sequenza di allenamento che promette il massimo effetto di apprendimento. "Speriamo di migliorare l'effetto formativo in modo che i futuri medici siano pronti per le operazioni più rapidamente e commettano meno errori", afferma Menozzi.

Mancanza di aptica e ritardo

Attualmente, i benefici e l'accettazione della simulazione vengono testati nell'ambito di tre tesi di master e con 23 medici in formazione. Gian-Luca Köchli è uno di loro. È all'ultimo anno dei suoi studi di medicina e ha già testato il simulatore AR sei volte. La sua conclusione: "La simulazione è molto sensibile e accurata; sono rimasto stupito da quanto sembra già realistica". Tuttavia, ha trovato fastidioso il fatto che le immagini sugli occhiali appaiano leggermente in ritardo rispetto al movimento reale. Inoltre, manca ancora un tatto realistico. In linea di principio, tuttavia, ritiene promettente l'approccio di praticare le operazioni sul simulatore prima di utilizzarle sugli esseri umani.

Menozzi vede attualmente tre sfide principali: Poiché le immagini virtuali, che dipendono dai movimenti della mano, vengono prima calcolate da un computer e inviate agli occhiali tramite WLAN, appaiono, come detto, con un ritardo di 20-30 millisecondi. Ciò significa che la latenza è ancora troppo alta, osserva Menozzi. Seconda sfida: alcune persone sottoposte al test reagiscono a certe simulazioni con vertigini o addirittura vomito. La terza sfida è la sensazione di presenza durante la simulazione. "Per noi è un'indicazione importante di quanto i risultati possano essere trasferiti alla realtà durante una simulazione", dice Menozzi. Al momento, ad esempio, il campo visivo è ancora molto limitato. Mentre il campo visivo naturale copre un angolo di circa 200°, con gli occhiali per la realtà mista è di soli 35°. Per un'impressione realistica, sarebbero necessari 120°. Anche l'acustica, l'olfatto e la tattilità potrebbero migliorare la presenza.

"App Store" per le simulazioni

Sandro Ropelato, che sta sviluppando il simulatore nell'ambito della sua tesi di dottorato, è convinto che il potenziale della tecnologia vada ben oltre la chirurgia oculistica. In futuro, anche altre operazioni complesse e ad alto rischio potrebbero essere modellate in anticipo per la simulazione AR, in modo che i medici possano esercitarsi in tutte le fasi nel modello virtuale. Vede ulteriori aree di applicazione nell'elettronica, ad esempio nella preparazione dei wafer di silicio per i microchip.

La visione a lungo termine di Ropelato: una sorta di "app store" con diverse simulazioni per la sua configurazione hardware, composta da Hololens, microcamere e computer. La simulazione 3D è basata su "Unity", che è in realtà un software di gioco, ma che è diventato popolare per tutti i tipi di applicazioni AR e VR. Pertanto, sul web sono disponibili migliaia di elementi software, che devono solo essere adattati alle proprie applicazioni. Ropelato e Menozzi stanno progettando uno spin-off a medio termine per commercializzare la piattaforma di simulazione. "Prima di allora, però, abbiamo ancora molto da imparare dagli utenti", sottolinea Menozzi. "La loro accettazione è fondamentale per il nostro successo".

Fonte: ethz