ai per adattare i movimenti delle labbra degli attori a lingue diverse: LA RIVOLUZIONE NEL DOPPIAGGIO
L’idea ha scatenato reazioni contrastanti tra attori e doppiatori; un mix di entusiasmo e preoccupazione
Flawless è una startup londinese che vuole usare l’intelligenza artificiale per cambiare i doppiaggi. Nello specifico, vuole eliminare la discordanza tra le labbra che si muovono in una lingua (quella originale) e le parole che escono invece in un’altra.
Nel mercato dei contenuti video, che sempre meno conosce confini, anche grazie alle piattaforme di streaming, è sempre più importante poter fornire in tempi rapidi doppiaggi in molte lingue. Già tempo fa Amazon aveva sviluppato una tecnologia per il doppiaggio che sfruttava le potenzialità dell’intelligenza artificiale, automatizzando e eliminando l’ausilio di veri doppiatori, per la riproposizione in altre lingue di un film o di una serie.
Era stata poi la volta di DeepDub, startup israeliana che punta a trasporre in qualsiasi lingua la voce di un attore.
Una piccola rivoluzione
Flawless, però, fa un passo ulteriore e promette una cosa ancora diversa. Anziché concentrarsi sulla voce, lavora sul movimento delle labbra per eliminare la differenza tra esso e le battute pronunciate in un’altra lingua. Una cosa a cui il pubblico europeo è abituato, mentre in America gli spettatori fanno molta fatica a vedere una cosa in inglese con dei movimenti delle labbra degli attori fuori sincrono.
Flawless ha presentato i primi risultati della sua tecnologia in alcuni video.
Flawless è un progetto sviluppato dal regista Scott Mann e dall’imprenditore dell’e-commerce Nick Lynes, prendendo ispirazione da una ricerca sul deepfake nel doppiaggio IA realizzata da Christian Theobalt, un professore del Max Planck Institute in Germania.
Flawless è imparentata con il deepfake, anche se Mann specifica che la sua tecnologia è molto più complessa. “I deepfake usano un rimpiazzo facciale a due dimensioni per falsificare l’identità delle persone, che è l’opposto di ciò che facciamo noi, cioè usare responsabilmente le reti neurali per potenziare una performance”.
Come funziona
Flawless, con l’aiuto del software di proprietà TrueSync, di fatto sincronizza la performance originale di un attore con i movimenti delle labbra di una persona che rifà le stesse battute nella sua lingua madre. A quanto afferma Mann, le reti neurali utilizzate dalla startup possono partire ad analizzare milioni di punti visivi all’interno di un’inquadratura già durante le riprese di un film, senza interrompere il processo della lavorazione, ma correndo parallelo a essa. La tecnologia converte il viso di un attore in un modello 3D, sincronizza il viso con il labiale nella lingua di destinazione, e poi riconverte tutto in 2D.
Il vantaggio è che i dialoghi in un’altra lingua possono essere tradotti subito e fedelmente, perché non dovranno coordinarsi con i labiali originali.
A quanto pare, la compagnia sta già discutendo con degli studios e lavorando con una piattaforma streaming, un accordo che spera di annunciare presto. Flawless si aspetta inoltre che il primo film a utilizzare questa tecnologia uscirà entro i prossimi dodici mesi.
Reazioni
Naturalmente Flawless si porta dietro reazioni contrastanti. Non solo un attore potrebbe non apprezzare che un’intelligenza artificiale modifichi la sua performance – e infatti Mann ha detto che, finora, ha ricevuto due reazioni dagli attori, “paura’ e ‘wow”. Ma, rifacendosi al deepfake, che di fatto “simula” un volto, alcune domande rischiano di ricevere risposte inquetanti: Flawless usa questa tecnologia “a fin di bene”, ma niente impedirebbe a qualcuno di sviluppare qualcosa di simile per far dire alle persone cose che non hanno mai detto in maniera estremamente credibile. Con tutte le conseguenze del caso.
I doppiatori però non hanno nulla da temere: Flawless è un caso di “tecnologia amica” per le professioni esistenti. Non si tratta, infatti, di sostituire il doppiatore, ma, di fatto, di rendergli il lavoro più snello – i dialoghi non dovrebbero essere adattati – e di legarlo in maniera “flawless”, appunto, al girato.
Certo, se progetti come Flawless e DeepDub dovessero unire le forze, allora le cose potrebbero davvero cambiare per sempre anche per questa categoria professionale.
Noi di Maker Faire Rome tifiamo ancora per il piacere di vedere film e serie nelle loro lingue originali, e per lo studio delle lingue, che aiuta a conservare la plasticità del cervello!
fonti: Wired I Il Post I Input
Maker Faire Rome – The European Edition, promossa dalla Camera di Commercio di Roma e organizzata dalla sua Azienda speciale Innova Camera, si impegna da ben otto edizioni a rendere l’innovazione accessibile e fruibile con l’obiettivo di non lasciare indietro nessuno offrendo contenuti e informazioni in un blog sempre aggiornato e ricco di opportunità per curiosi, maker, startup e aziende che vogliono arricchire le proprie conoscenze ed espandere il proprio business, in Italia e all’estero.
Seguici, iscriviti alla nostra newsletter:ti forniremo solo le informazioni giuste per approfondire i temi di tuo interesse
