Il discorso si concentrerà su un'implementazione reale di Embodied AI agent. Inizieremo con una panoramica dei modelli di Machine Learning trattati all'interno di Reply R&D, quindi DinoV2 for Object Detection (https://dinov2.metademolab.com/), PALM (https://palm-e.github.io/ ) come un punto di partenza per VLM (Visual Language Models) ed essere in grado di generalizzare un gran numero di attività che richiedono input multimodali (sia con immagini che con testo). Passeremo poi ad un agente robotico come SPOT della Boston Dynamics, quindi la sua architettura, le potenzialità di tale agente ed i sensori presenti a bordo. Da qui avremo le basi per passare ad un'implementazione di Embodied AI agents controllati completamente con la voce in linguaggio naturale. Mostreremo un orchestratore che, ricevendo come input comandi vocali in linguaggio naturale, sarà in grado di controllare un agente robotico come SPOT di Boston Dynamics e utilizzare i modelli di Machine Learning necessari per completare le singole attività all'interno dell'episodio avviato dall'utente . Mostreremo quindi gli sviluppi attuali nel mondo relativo all'uso di modelli di linguaggio visivo, come RT-2(https://robotics-transformer2.github.io/) per agenti robotici e LINGO-1(https://wayve .ai/ ) per la guida autonoma.