Espositori 2021



Androide Brother L.I.S. + Braille - Riconoscimento real-time della lingua italiana dei segni e traduzione in Braille

Androide Brother L.I.S. + Braille - Riconoscimento real-time della lingua italiana dei segni e traduzione in Braille

Il progetto che presentiamo centrato su un Robot Collaborativo Androide chiamato Brother , dotato di capacit decisionali autonome e di interazione con il mondo esterno basate sul riconoscimento eventi attraverso l'utilizzo di tecniche di Intelligenza Artificiale.


Al momento il prototipo solo come mezzo busto, ma prevista e gi schedulata la possibilit di dotarlo di movimento autonomo in un prossimo futuro.


La caratteristica principale del Robot di interagire in tempo reale ed in autonomia con gli eventi che si verificano nel suo spazio di lavoro oltre che con il mondo esterno essendo connesso con la rete Internet.


E dotato di sensori di visione (telecamere, sensori termici e telecamere 3D o RGBD), di sensori riconoscimento audio (microfoni e software di riconoscimento comandi vocali), di attuatori audio (altoparlanti autogestiti), di sensori per il riconoscimento di movimento nel suo spazio di lavoro (ad ultrasuoni e ad infrarossi) e di capacit di movimento autonomo (della testa, delle braccia, delle mani, del torso e del collo).


E in grado pertanto di interagire autonomamente con il mondo che lo circonda instaurando un dialogo con gli esseri umani.


E progettato per riconoscere oggetti o persone e/o specifici visi archiviati nel suo database, inoltre pu anche seguire e tracciare gli esseri umani che entrano nel suo campo visivo per interagire con essi.


E stato realizzato completamento in ABS o PTEG, stampato in 3D ed assemblato allinterno del nostro laboratorio DigiLAB Volta.


Al suo interno sono presenti diversi microcontrollori (Arduino MEGA, Arduino Nano e ESP32) e numerosi Servo Motori in diverse tipologie per via delle diverse strutture da movimentare, alcune di peso consistente.


Il tutto poi gestito da un PC Windows 10, su cui gira un software applicativo di sviluppo basato su Java e Python3. In effetti lintero Robot visto come un oggetto Java ed ogni sua capacit viene gestita come un metodo da utilizzare. A basso livello poi i vari attuatori presenti sono azionati e gestite da microcontrollori periferici.


A queste capacit base stata poi aggiunta la possibilit di riconoscere la lingua dei segni L.I.S. in tempo reale da parte di un essere umano che si posizione davanti al suo campo visivo e la traduzione in tempo reale delle frasi riconosciute sia con una codifica audio in Italiano, sia contemporaneamente in formato Braille, attraverso l'invio di dati in Wifi ad un prototipo di Tablet con una matrice Braille che stampa le lettere e/o le frasi riconosciute.


Questa capacit stata raggiunta attraverso lintegrazione del riconoscimento visivo dei movimenti che il Robot (gesture) identifica con l'utilizzo delle telecamere posizionate negli occhi della sua testa. Tutto il riconoscimento realizzato con del software scritto in Python dal nostro team che utilizza tecniche di Intelligenza Artificiale per il 'pose estimation'.


Inoltre una volta indentificata la frase della lingua dei Segni, il Robot in grado anche di tradurla in tempo reale su una matrice Braille, utilizzando la trasmissione WiFi per l'invio al Tablet dove inserita la matrice.


Androide Brother L.I.S. + Braille - Riconoscimento real-time della lingua italiana dei segni e traduzione in Braille

Team DigiLAB Volta - I.I.S. Alessandro Volta Frosinone

Siamo un team di studenti dell IIS Alessandro Volta di Frosinone.
Tutto nasce dalla voglia di stravolgere la vita ordinaria di tutti.
Nel nostro team ognuno ha un ruolo specifico, agevolando cos la realizzazione dei nostri prototipi.
La nostra filosofia imparare dal fare
Il nostro motto 'If you can dream it ... you can do it"


Back
 
Dati aggiornati il 07/12/2024 - 21.30.07