Sensori indossabili potranno tradurre la lingua dei segni in inglese

Dei sensori indossabili potrebbero un giorno interpretare i gesti utilizzati nel linguaggio dei segni – quello utilizzato dalle persone che hanno difficoltà a parlare o udire – e tradurli in inglese, fornendo una soluzione ad alta tecnologia per i problemi di comunicazione tra le persone sorde o sordo – mute e le altre persone che non capiscono la lingua dei segni. Gli ingegneri della Texas A. & M. University stanno sviluppando un dispositivo indossabile in grado di rilevare il movimento e l’attività muscolare nelle braccia di una persona che si esprime con questo linguaggio e di tradurlo in una sequenza di istruzioni di dati.

Il dispositivo funziona in modo tale da capire i gesti che una persona sta facendo utilizzando due sensori distinti: uno che risponde al movimento del polso e l’altro che risponde ai movimenti muscolari del braccio. Un programma quindi riceve via wireless queste informazioni e converte i dati in parole o frasi nella traduzione inglese.

sign-language-translator

I limiti dei dispositivi del passato

Dopo alcune ricerche iniziali, gli ingegneri hanno scoperto che ci sono stati in passato dei dispositivi che hanno tentato di tradurre il linguaggio dei segni in testo scritto di una lingua parlata, ma non erano così precisi nei loro disegni. “La maggior parte della tecnologia utilizzata e sviluppata in passato in questo campo era basata su soluzioni VISION cioè basate sull’ utilizzo della fotocamera” ha detto il ricercatore dello studio Roozbeh Jafari, professore associato di ingegneria biomedica presso la Texas A. & M. University.

Questi disegni esistenti, Jafari ha detto, non sono sufficienti, perché spesso quando qualcuno sta parlando con il linguaggio dei segni, si usano anche i gesti delle mani combinati con movimenti delle dita specifici.

“Ho pensato che forse dovremmo guardare in che modo combinare i sensori di movimento e quelli di attivazione muscolare per avere un linguaggio completo”, ha detto Jafari in diretta a Science. “E l’idea era di costruire un dispositivo indossabile”.

Come funziona il nuovo prototipo

I ricercatori hanno costruito un prototipo di questo sistema in grado di riconoscere le parole che la gente usa più comunemente nelle sue conversazioni quotidiane. Jafari ha detto che una volta che la squadra inizierà a realizzare una espansione del programma, gli ingegneri includeranno più parole che vengono utilizzate meno frequentemente, al fine di costruire un vocabolario più ampio e sostanziale.

Uno svantaggio del prototipo è che il sistema deve essere “addestrato” per rispondere ad ogni individuo che indossa il dispositivo, ha detto Jafari. Questo processo di formazione prevede che il sistema chieda all’utente di ripetere essenzialmente o di fare ogni gesto della mano un paio di volte, cosa che può richiedere fino a 30 minuti per completare tutta l’operazione di memorizzazione dei segni. Alla fine si avrà però anche un dispositivo perfettamente personalizzato e tarato sul lessico che si utilizza più di frequente.

“Se sto indossando il dispositivo e ce l’ ho indosso questo non significa che i segni saranno univoci per tutti gli utenti – i nostri corpi sono diversi http://www.theblog.it. le nostre strutture muscolari sono diverse”, ha detto Jafari.

Ma, Jafari pensa che il problema è in gran parte il risultato di vincoli di tempo che la squadra ha dovuto affrontare nella costruzione del prototipo. Il processo di costruzione del primo modello ha infatti richiesto molto poco tempo, hanno detto i ricercatori al Science. Ci sono voluti due studenti laureati appena da due settimane per costruire il dispositivo, ma tutto è stato realizzato in breve tempo, in modo tale che Jafari si è detto fiducioso che il dispositivo sarà più avanzato durante le fasi successive di sviluppo.

Gli sviluppi futuri del progetto

I ricercatori prevedono di ridurre il tempo di formazione del dispositivo, o addirittura di eliminare del tutto questo tempo necessario alla sua programmazione, in modo che il dispositivo indossabile risponda automaticamente alle esigenze dell’utente. Jafari vuole anche migliorare l’efficacia dei sensori del sistema in modo che il dispositivo sarà più utile nelle conversazioni reali. Attualmente, quando una persona utilizza per esprimersi il linguaggio dei segni, il dispositivo può leggere solo parole una alla volta. Si può pensare che negli sviluppi futuri del progetto possano essere diversi e questo limite superato, per avere una affidabilità più simile al fluire della conversazione quotidiana.

Questo, tuttavia, non è il modo in cui la gente parla. “Quando parliamo, abbiamo messo tutte le parole in una frase“, ha detto Jafari. “La transizione da una parola all’altra parola è senza soluzione di continuità e in realtà tutto il processo di comunicazione è molto immediato.” “Abbiamo bisogno di costruire tecniche di elaborazione del segnale, che ci aiutino a identificare e comprendere una frase completa”, ha aggiunto.

La visione finale di Jafari è quella di utilizzare le nuove tecnologie, come il sensore indossabile, più pratico e più personale, per sviluppare innovative interfacce – utente tra uomo e computer per la risoluzione di un problema.

Ad esempio, le persone che hanno problemi nella comunicazione sono già a proprio agio con l’utilizzo di tastiere per impartire comandi ai dispositivi elettronici, ma Jafari pensa che digitare su dispositivi come smartwatches non è molto pratico perché tendono ad avere schermi di piccole dimensioni.

“Abbiamo bisogno di una nuova interfaccia utente (UI) e una modalità di interfaccia utente che ci aiuti a comunicare con questi dispositivi in modo più intuitivo” ha detto. “Dispositivi come il sensore indossabile potrebbero aiutarci ad arrivare a questo livello. Potrebbe essere essenzialmente il passo giusto nella giusta direzione.”

Jafari ha presentato questa ricerca per la prima volta presso l’Istituto di Electrical and Electronics Engineers (IEEE) in occasione della  12 ° Conferenza annuale delle reti di sensori per il corpo nel mese di giugno scorso.

Commenti

Lascia un commento

Il tuo indirizzo email non sarà pubblicato.