L’operazione è stata realizzata impiegando l’innovativo visore AR Vostars che posiziona nello spazio fisico le immagini virtuali, migliorando la messa a fuoco

Solo qualche giorno fa all’ospedale Policlinico Universitario S.Orsola di Bologna è stata eseguita con successo il primo intervento chirurgico al mondo guidato dalla realtà aumentata. Si tratta di una delicata operazione maxillo-facciale, per resecare e riposizionare mascella e mandibola al fine di ripristinare le funzionalità del morso.

Il chirurgo indossava un visore AR, che consente di aggiungere informazioni essenziali sul paziente e di far comparire le istruzioni nel campo visivo del medico, senza ricorrere ad un monitor esterno. Si tratta dell’innovativo visore Vostars dedicato esclusivamente alle operazioni chirurgiche e realizzato in collaborazione con l’Università di Pisa.

Il visore Vostars

Vicenzo Ferrari, ingegnere biomedico dell’Università di Pisa e coordinatore del team europeo che ha progettato il rivoluzionario visore Vostars, ha affermato: “Fino a questo momento la realtà aumentata non è mai stata sfruttata appieno in sala operatoria. I visori attualmente presenti sul mercato rendono disponibili a video i contenuti digitali, come per esempio il 3D dell’organo da operare, ottenuto da scanner radiologici. A causa della difficoltà di messa a fuoco del nostro occhio, che fa fatica a visualizzare contemporaneamente oggetti reali e digitali, queste informazioni non sono mai state visualizzate durante un intervento chirurgico. I medici le potevano visualizzare in AR solo prima dell’operazione, per prepararsi meglio all’intervento.”

La messa fuoco è stato uno dei punti cruciali del progetto. Focalizzarsi sugli oggetti virtuali implica infatti che ovviamente quelli reali siano visti sfocati, perché l’occhio li percepisce a due distanze diverse. Questa situazione non può accadere nel momento in cui il medico ha un bisturi in mano. Pertanto fino ad ora il monitor esterno è stata l’unica soluzione possibile, che però obbliga il medico a distogliere lo sguardo e la concentrazione dal paziente per ricevere le istruzioni.

Per ovviare a ciò il visore a lenti trasparenti Vostars proietta, nel campo visivo del medico e nel punto esatto del corpo del paziente, le informazioni necessarie a compiere l’operazione con successo. Ad esempio la linea di taglio virtuale compare con precisione sulla parte coinvolta, come se fosse stata tracciata da un pennarello. Questo processo colloca gli oggetti digitali sullo stesso piano di quelli reali, risolvendo il problema della messa a fuoco.

“Con il visore – conclude Giovanni Badiali, il chirurgo che ha eseguito l’operazione – prima dell’operazione abbiamo visualizzato i AR l’anatomia di scheletro facciale, mascellari e linee di taglio. Poi, durante l’intervento il dispositivo ha permesso di visualizzare una linea tratteggiata direttamente sull’osso del paziente, mostrando il percorso da seguire con lo strumento chirurgico. Con l’aiuto del visore siamo riusciti ad eseguire il taglio della mascella con la precisione richiesta“.

Ecco l’intervista completa al dott. Giovanni Badiali, il chirurgo che ha effettuato l’intervento con il visore AR

Negli Stati Uniti, si stima che il tempo di attesa per un appuntamento dal fisioterapista sia intorno ai 30 giorni. Questi tempi dilazionati fanno sì che la strada della riabilitazione fisica per i pazienti diventi piuttosto lunga. Per coloro che hanno subito lesioni traumatiche cerebrali non basta solo la fisioterapia, a volte servono anche altre terapie come quella cognitiva, quella occupazionale, la logopedia, e molte altre. I tempi si diluiscono e gli spostamenti da un centro ad un altro possono diventare difficili quanto la terapia stessa.

Da qualche anno nei centri di riabilitazione e nelle cliniche ospedaliere americane si stanno adottando delle soluzioni in realtà virtuale per ridurre i tempi di recupero e per migliorare la gestione delle sessioni di terapia.

Combinando insieme I trattamenti cognitivi e fisici nelle esperienze di terapia VR, immediatamente si è riscontrato un aumento del livello di motivazione e di impegno nelle sessioni terapiche fruite dal paziente. I dati ed i rapporti sui progressi, che vengono elaborati dalle app VR, aiutano i fisioterapisti a gestire i loro rapporti con i pazienti. Pertanto la tecnologia è uno strumento utile non solo per il paziente ma anche per i terapeuti.

La terapia VR non va a sostituire quella fisica ma la integra, aiutando i malati a superare le proprie barriere mentali provocate dalle lesioni traumatiche subite. Ad esempio credono non poter fare la spesa al supermercato o cucinare o preparare il letto.

I pazienti, che pensano di non riuscire a fare determinate azioni nella vita reale, finiscono spesso per compierle nel mondo della realtà virtuale.

Allo stesso tempo, l’immersione nel mondo della VR permette loro di concentrarsi sulla loro terapia più di quanto non farebbero nella vita reale, senza avere distrazioni.

Superando le proprie barriere mentali ed essendo più concentrati, i pazienti fanno più progressi durante le sessioni di terapia VR, rispetto a quelle nel mondo fisico.

Infine le sessioni VR possono essere fruite ovunque senza bisogno di recarsi in un centro apposito. Basta indossare un visore di realtà virtuale per accedere all’esperienza. Gli spostamenti si riducono e le tempistiche di recupero di accorciano, accelerando quindi il processo di guarigione. Molte sessioni quindi possono essere svolte tranquillamente a casa mentre il terapeuta osserva i dati elaborati dall’applicazione VR.

La realtà virtuale è pronta per entrare nella sala parto del Wales University Hospital di Cardiff. Questa tecnologia infatti può aiutare le future mamme a ridurre il dolore durante il travaglio.

Indossando un visore, le gestanti vengono immerse in un ambiente sereno, a scelta tra 6 differenti alternative. Questa esperienza virtuale favorisce il rilassamento delle donne e le aiuta nella gestione del dolore, durante le prime fasi del travaglio. Il sistema può essere adattato per ogni paziente, grazie al supporto di psicologi specialistici.

Secondo la Responsabile Ostetrica del Cardiff Health Council, Suzanne Hardacre, la realtà virtuale potrebbe diventare un ottimo coadiuvante da affiancare alla eventuale terapia farmacologica, ma che garantisce un impatto nettamente più tollerabile sulla salute. Infatti rende possibile un approccio al rilassamento e alla respirazione in maniera del tutto naturale. In ogni caso la tecnologia è solo un supporto ai farmaci, che non vengono mai del tutto eliminati. Il visore viene accettato di buon grado dalle partorienti, in quanto si tratta di qualcosa di molto simile ad un simulatore di gioco.

Secondo gli studi (Patterson & Hoffman, 2004), utilizzando la realtà virtuale durante dolorose procedure mediche, la percezione del dolore si riduce in un range variabile che va dal 50 al 97%.

I primi risultati di questa sperimentazione in sala parto sono molto positivi, tanto che i medici vorrebbero applicare questa tecnologia anche in altri casi. Ad esempio potrebbe essere impiegata per la riduzione dell’ansia in pazienti costretti a lunghe degenze in ospedale.

Oggi, le tecnologie di realtà virtuale e aumentata trovano campi di applicazione anche in medicina al fine di fornire un servizio più completo non solo al paziente, soprattutto durante l’iter terapeutico, ma anche all’equipe medica.

Per i malati, la realtà aumentata può essere impiegata come supporto durante il percorso di cura, soprattutto con l’impiego di avatar virtuali che confortano l’utente e gli forniscono tutte le informazioni di cui ha bisogno sulla sua patologia. La realtà virtuale, invece, viene utilizzata per la riabilitazione motoria (esercizi motori in soggetti che hanno subito un danno cerebrale) e cognitiva, come per la valutazione dei tempi di reazione, per disturbi dell’attenzione e della memoria.

Per i dottori e studenti in medicina, queste tecnologie possono essere impiegate per l’addestramento, per analizzare e testare nuove tecniche e terapie senza correre alcun rischio per il paziente. Inoltre  i medici, con queste simulazioni, possono affrontare un ampissimo spettro di patologie, senza aspettare si manifestino in maniera accidentale.

Ecco un video che raccoglie alcuni esempi delle varie applicazioni di AR/VR al settore della medicina e del Biomedicale da parte di Takeda:

Vuoi approfondire l’argomento?

Abbiamo realizzato una guida, scaricabile gratuitamente, che illustra 5 modi per applicare realtà aumentata e realtà virtuale al biomedicale.

Experenti ha partecipato a una serie di “Corsi tecnico pratici in chirurgia urologica laparoscopica” organizzati da Symposia Congressi nei giorni 6, 13 e 27 marzo 2018 presso la Clinica Pederzoli di Peschiera del Garda. Abbiamo infatti presentato un progetto di formazione medica con la virtual reality, chiamato Virtual Live Surgery sviluppato per più piattaforme VR come HTC Vive, Gear e Cardboard.

Attraverso un visore, gli specialisti in urologia hanno potuto assistere come se fossero catalputati in sala operatoria ad alcuni interventi chirurgici eseguiti dal Dott. Polara, al fine di apprendere nuove tecniche da sperimentare successivamente durante gli interventi reali. Con Virtual Live Surgery i medici hanno quindi ricevuto un momento formativo alternativo alla lezione frontale, che si è dimostrato più coinvolgente e che ha permesso loro di essere più concentrati sull’argomento di studio. Inoltre ha consento loro di vedere e rivedere le tecniche impiegate durante l’intervento per poter imparare meglio come vengono implementate.

Il progetto ha ricevuto ottimi feedback dai medici partecipanti che hanno confermato la validità di questa tecnologia per la formazione medica, in quanto permette una didattica molto più coinvolgente ed interattiva rispetto alle normali lezioni.

Grazie al successo dei corsi di aggiornamento, Symposia Congressi ci ha invitato all’evento che ha organizzato dal 18 al 20 aprile “Technology and Training” per gli specialisti in urologia, al Parc Hotel di Peschiera del Garda. Durante l’evento molte realtà hanno potuto sperimentare il nostro Virtual Live Surgery: dai medici partecipanti alle grandi aziende medico-farmaceutiche invitate. Tutti hanno espresso grandi apprezzamenti e hanno sottolineato le potenzialità dello strumento per quanto riguarda la didattica, anche per quella medica.

 

Il tumore al pancreas oggi è purtroppo una patologia in crescita, infatti nel giro di quindici anni, i casi sono quasi raddoppiati: nel 2002 erano 8.602, nel 2017 sono stati 13.700. Questi numeri hanno spinto i medici della Fondazione Poliambulanza di Brescia, polo di riferimento in Italia per il tumore del pancreas, a cercare uno strumento che possa essere un concreto modo di aiutare i pazienti, chiarendo dubbi e paure, proponendo consigli pratici e spiegazioni comprensibili.

visiomedic

A tal proposito Experenti ha proposto alla fondazione un’applicazione in realtà aumentata Visio Medic, realizzata con il contributo non condizionato di Takeda. Muovendo lo smartphone (o il tablet), sopra una brochure fornita dall’ospedale, partono dei video esplicativi o si accede a informazioni pratiche: dai dettagli logistici agli approfondimenti più complessi (per esempio su come funziona il pancreas e su tutte le fasi dell’intervento), alla dieta raccomandata. VisioMedic è scaricabile gratuitamente da Apple Store per i dispositivi iOS e da Google Play per gli utenti di Android, ed è accessibile al pubblico tramite username e password, forniti dai medici della Poliambulanza.

La diagnosi sconvolge il malato e la sua famiglia, disorientati di fronte a una patologia così importante e complessa. Per questo i materiali messi a disposizione su Visio Medic sono semplici e di facile comprensione, per informare e tranquillizzare il paziente, modulari, perché consultabili singolarmente e soprattutto guidati, grazie alla presenza dell’assistente virtuale che accompagna il paziente lungo tutto il percorso.

Al fine di rendere il tutto più rassicurante per il paziente, nell’app è presente un avatar, chiamato Arianna, una guida e un’assistente virtuale che aiuterà chi si deve sottoporre all’intervento chirurgico per il tumore al pancreas ad orientarsi nel percorso pre e post operatorio all’interno della Fondazione Poliambulanza di Brescia.

Dai primi numeri, forniti dalla fondazione, i risultati sono sensazionali: sui primi 20 pazienti, che hanno utilizzato Visio Medic per ricevere informazioni sulla malattia, NESSUNO di essi ha sentito la necessità di andare a cercare altre informazioni su internet. I medici sono molto orgogliosi di questo traguardo, infatti su internet le informazioni spesso non sono attendibili oppure sono frammentate.

Inoltre VisioMedic ha avuto molta risonanza tra i media in quanto numerose testate giornalistiche, tra cui il Corriere delle Sera e la Repubblica, hanno scritto articoli sulle potenzialità dell’app. Grazie a questo progetto Experenti ha dimostrato che è possibile sfruttare al meglio la mixed reality per aiutare concretamente i malati più in difficoltà.

 

Scopri qui la Case History:

Visio Medic

Quando aggiornarsi diventa anche divertente

Un nuovo modo che permetta ai medici di imparare nuove tecniche di cura, portando zero rischi per il paziente, è la Realtà Virtuale. La formazione medica avviene con un visore, con quale il dottore può immergersi completamente in un mondo ricreato artificialmente.

La simulazione virtuale è molto utile, in quanto consente di riprodurre situazioni reali o potenzialmente tali, permettendo ai medici di misurarsi con potenziali situazioni di emergenza. Nel mondo reale queste particolari situazioni non sarebbero sperimentabili senza correre dei rischi per i pazienti. Ad esempio la Realtà Virtuale può essere impiegata per ricreare un’operazione chirurgica complessa, risolvibile con istruzioni passo a passo che aiutano il medico ad apprendere le tecniche. Oppure si può assistere da spettatore all’intervento chirurgico ripreso in sala operatoria con una telecamera a 360°.

La formazione medica simulata serve sia per insegnare le cosiddette technical skills, cioè come si fa a curare un paziente con una certa malattia, sia le non technical skills: come si fa, ad esempio ad interloquire con un paziente e con i suoi familiari. Il tutto per garantire il miglior percorso diagnostico-terapeutico possibile.

 

formazione-medica-vr

L’attrattività di questo approccio è proprio legata al fatto che, una volta costruito il sistema, può essere utilizzato un numero infinito di volte. Questo permette una riduzione sensibile dei costi per la formazione che solitamente riguardano l’iscrizione dei medici a corsi di aggiornamento molto costosi.

Inoltre la creazione di percorsi formativi in realtà virtuale può consentire a numeri grandissimi di medici di fare formazione contemporaneamente, misurando anche quanto tempo impiegano, quanti errori fanno, quanti esami costosi richiedono e, quindi, di tracciare la loro competenza clinica.

L’utilizzo della realtà virtuale per la formazione può essere qualificato anche come edutainment (parola nata dall’unione di education e entertainment, e nella gamification): trasformare la formazione in un “gioco” permette di motivare il medico che deve apprendere, fornendogli anche degli stimoli competitivi e ricreativi.

Ecco abbiamo visto come la realtà virtuale sia la nuova frontiera dell’aggiornamento: una formazione 4.0 stimolante, competitiva e, perché no, divertente.

Invisibili con la realtà aumentata

Alzi la mano chi almeno una volta nella vita non ha desiderato indossare il mantello dell’invisibilità di Harry Potter?

Se la risposta è si sappiate che oggi potreste magicamente essere anche voi invisibili con la realtà aumentata. Alcuni studiosi dell’Università medica Svedese, l’Istituto Karolinska, hanno condotto un interessante esperimento che ha visto protagonista la realtà aumentata, utilizzata per rendere “invisibili” le persone coinvolte.

All’incirca cento i volontari che hanno vissuto questa esperienza “magica”, ai quali gli scienziati hanno lasciato credere che grazie alla realtà aumentata il loro corpo sarebbe scomparso dalla vista, diventando totalmente invisibile.

Ai partecipanti sono stati fatti indossare dei visori per la realtà aumentata, ed è stato chiesto loro di rivolgere lo sguardo verso il basso e di guardare in direzione di dove avrebbero dovuto essere i propri piedi.

Incredibile ma vero, nessuno dei partecipanti riusciva a vedere il proprio corpo.

Ma lo sappiamo tutti che dietro ogni magia vi è un trucco, i visori erano stati progettati in modo tale da regalare a chi li indossava la sensazione di invisibilità, negli occhiali era stata inserita l’immagine di un altro visore posto difronte, che inquadrava il pavimento vuoto. I ricercatori hanno poi utilizzato dei pennelli, per susicitare e studiare le sensazioni dei partecipanti, con un pennello toccavano il corpo del soggetto e l’altro veniva posto nella visuale del secondo visore, nonostante la persona coinvolta sentiva al tatto il pennello non riusciva a vedere comunque il suo corpo, e si alimentava così la convinzione di essere davvero invisibili.

Poiché il fine dell’esperimento era quello di studiare gli effetti psicologici della cosa, e rilevare i vari cambiamenti del corpo in relazione alle emozioni provate, sono stati utilizzati oltre ai pennelli altri tipi di oggetti, tra cui dei coltelli.

Il ricercatore con il coltello in mano esercitava forti movimenti, ovviamente nello spazio vuoto, ciò ha provocato l’aumento della frequenza cardiaca, della sudorazione e il livello di stress dei volontari.

Sulla base di quanto emerso da questo esperimento, gli studiosi sono arrivati alla conclusione che questo sistema d’invisibilità basato sulla realtà aumentata, può avere un effetto terapeutico per tutte le persone che soffrono di ansia e timidezza sociale, infatti si è visto come chi credeva di essere invisibile era meno stressato in pubblico, e come  la mente si lasci influenzare dall’idea di invisibilità.

Chissà che da un esperimento, che sembra quasi una gioco magico, non si possa trovare nella realtà aumentata una possibile alleata per combattere problemi di carattere psicologico nel futuro prossimo?

 

 

 

La realtà aumentata sempre più spesso è al servizio di medicina e salute: abbiamo visto progetti come quello dei visori HoloLens utilizzati dalle università statunitensi per studiare medicina e anatomia o come l’headset Smart Specs che aiuterà gli ipovedenti a percepire la realtà intorno a loro; adesso sembra giunto il momento del grande ingresso della realtà aumentata nel mondo della chirurgia.

Alcuni collaboratori scientifici della Purdue University e la Indiana University School of Medicine hanno lavorato fianco a fianco per creare una nuova tecnologia che possa aiutare i chirurghi sui campi di battaglia o nelle aree più sperdute della terra a operare i pazienti pur non essendo specialisti in una determinata operazione grazie all’aiuto in differita di altri medici. Sino a questo momento era già stato sviluppato un sistema per lo stesso scopo, ma purtroppo presentava qualche problema di funzionamento: infatti al video con il punto di vista del chirurgo, lo specialista rispondeva con del testo scritto a lato; questo comportava un continuo spostamento dello sguardo da un punto a un altro durante l’operazione, e come si può immaginare non era una soluzione ottimale. Oggi invece, con il nuovo STAR (System for Telementoring with Augmented Reality) la situazione ha visto un deciso miglioramento: grazie alla realtà aumentata i consigli degli esperti verranno proiettati direttamente nel campo visuale del chirurgo, rendendo le operazioni più sicure e veloci. In pratica uno schermo trasparente viene post sul campo di lavoro del chirurgo; in questo modo sia chirurgo che specialista vedono la stessa cosa e il primo legge e vede le informazioni direttamente sulla zona da operare.

Per il momento il sistema STAR, sviluppato con l’aiuto del Pentagono, è stato solamente testato in laboratori che simulano l’ambiente ospedaliero, ma sembrerebbe che presto possa entrare pienamente in uso.

Ecco un’animazione che spiega il funzionamento del sistema:

 

Vi avevamo già parlato dei visori HoloLens  di Microsoft principalmente pensati e rivolti al mercato dell’intrattenimento e dei videogames.

Ma la nota azienda non finisce di stupirci con questi gioiellini dedicati alla realtà aumentata e con la pubblicazione di  un video esplicativo Microsoft  ci mostra come gli smartglasses possono essere utilizzati anche per l’insegnamento della medicina in un’università statunitense.

 

Gli studenti statunitensi di medicina con gli HoloLens potranno studiare il corpo umano in maniera innovativa e non in modo tradizionale sui classici libri, grazie all’idea di Microsoft saranno in grado di osservare organi, muscoli, ossa in realtà aumentata attraverso degli ologrammi tridimensionali generati dal visore. Con HoloLens i futuri medici potranno passare dalla teoria alla pratica, mediante delle simulazioni verosimili alla realtà e potranno sperimentare quanto appreso evitando errori che potrebbero essere fatali per la salute e la vita dei pazienti.

Guardando il video possiamo notare un limite che risulta essere temporaneo, visto che l’azienda lavora costantemente per migliorarsi, il campo visivo di chi indossa gli occhiali sembra essere troppo ristretto.

Inoltre Microsoft ha dato inizio ad un progetto di ricerca dedicato alle università, invitandole a sviluppare possibili soluzioni in diverse aree tematiche: medicina, comunicazione, psicologia, matematica, ingegneria, arti interattive e multimedialità. Le proposte migliori riceveranno un premio di 100.00 dollari e due Kit di sviluppo HoloLens.