Il progetto che presentiamo è centrato su un Robot Collaborativo Androide chiamato ‘Brother’ , dotato di capacità decisionali autonome e di interazione con il mondo esterno basate sul riconoscimento eventi attraverso l'utilizzo di tecniche di Intelligenza Artificiale.

Al momento il prototipo è solo come mezzo busto, ma è prevista e già schedulata la possibilità di dotarlo di movimento autonomo in un prossimo futuro.

La caratteristica principale del Robot è di interagire in tempo reale ed in autonomia con gli eventi che si verificano nel suo spazio di lavoro oltre che con il mondo esterno essendo connesso con la rete Internet.

E’ dotato di sensori di visione (telecamere, sensori termici e telecamere 3D o RGBD), di sensori riconoscimento audio (microfoni e software di riconoscimento comandi vocali), di attuatori audio (altoparlanti autogestiti), di sensori per il riconoscimento di movimento nel suo spazio di lavoro (ad ultrasuoni e ad infrarossi) e di capacità di movimento autonomo (della testa, delle braccia, delle mani, del torso e del collo).

E’ in grado pertanto di interagire autonomamente con il mondo che lo circonda instaurando un dialogo con gli esseri umani.

E’ progettato per riconoscere oggetti o persone e/o specifici visi archiviati nel suo database, inoltre può anche seguire e tracciare gli esseri umani che entrano nel suo campo visivo per interagire con essi.

E’ stato realizzato completamento in ABS o PTEG, stampato in 3D ed assemblato all’interno del nostro laboratorio DigiLAB Volta.

Al suo interno sono presenti diversi microcontrollori (Arduino MEGA, Arduino Nano e ESP32) e numerosi Servo Motori in diverse tipologie per via delle diverse strutture da movimentare, alcune di peso consistente.

Il tutto poi è gestito da un PC Windows 10, su cui gira un software applicativo di sviluppo basato su Java e Python3. In effetti l’intero Robot è visto come un oggetto Java ed ogni sua capacità viene gestita come un metodo da utilizzare. A basso livello poi i vari attuatori presenti sono azionati e gestite da microcontrollori periferici.

A queste capacità base è stata poi aggiunta la possibilità di riconoscere la lingua dei segni L.I.S. in tempo reale da parte di un essere umano che si posizione davanti al suo campo visivo e la traduzione in tempo reale delle frasi riconosciute sia con una codifica audio in Italiano, sia contemporaneamente in formato Braille, attraverso l'invio di dati in Wifi ad un prototipo di Tablet con una matrice Braille che stampa le lettere e/o le frasi riconosciute.

Questa capacità è stata raggiunta attraverso l’integrazione del riconoscimento visivo dei movimenti che il Robot (gesture) identifica con l'utilizzo delle telecamere posizionate negli occhi della sua testa. Tutto il riconoscimento è realizzato con del software scritto in Python dal nostro team che utilizza tecniche di Intelligenza Artificiale per il 'pose estimation'.

Inoltre una volta indentificata la frase della lingua dei Segni, il Robot è in grado anche di tradurla in tempo reale su una matrice Braille, utilizzando la trasmissione WiFi per l'invio al Tablet dove è inserita la matrice.