Indice
Prime Video sperimenta l’AI per adattare i movimenti delle labbra al doppiaggio. Il primo test riguarda Maxton Hall.
Il doppiaggio potrebbe essere davanti a una piccola rivoluzione. Non tanto perché l’intelligenza artificiale stia iniziando a sostituire i doppiatori, quanto perché potrebbe finalmente intervenire su uno degli elementi che da sempre tradisce una scena tradotta: il movimento delle labbra.
Prime Video sta infatti sperimentando una tecnologia che combina intelligenza artificiale ed effetti visivi per modificare i movimenti della bocca degli attori e renderli più coerenti con le parole pronunciate nella lingua del doppiaggio. L’obiettivo è semplice da capire: se un personaggio parla inglese, francese o tedesco, il movimento delle labbra dovrebbe essere compatibile con quella lingua, riducendo quella discrepanza visiva alla quale gli spettatori sono ormai abituati.
Il primo esperimento riguarda Maxton Hall, serie tedesca disponibile su Prime Video. Le prime due stagioni possono essere viste con il doppiaggio inglese accompagnato da questa nuova tecnologia, mentre il sistema dovrebbe essere utilizzato anche nella terza stagione, prevista per il 9 dicembre.
La novità, però, va oltre il semplice miglioramento del doppiaggio. Perché per la prima volta l’intelligenza artificiale non si limita a intervenire sulla traccia audio, ma prova a modificare ciò che vediamo sullo schermo.
Il problema del doppiaggio non è soltanto la voce
Per chi è cresciuto in Italia il doppiaggio è praticamente parte integrante dell’esperienza cinematografica e televisiva. Abbiamo una lunga tradizione di doppiatori e un’industria specializzata che ha sviluppato tecniche estremamente sofisticate per adattare dialoghi, interpretazione e sincronizzazione.
Ma anche il miglior doppiaggio possibile si scontra con un problema difficile da eliminare: la bocca dell’attore continua a muoversi secondo la lingua originale.
Una frase pronunciata in tedesco può avere una struttura completamente diversa rispetto alla sua traduzione inglese. Le parole hanno lunghezze differenti, cambiano le consonanti, le vocali e soprattutto il modo in cui vengono articolate.
Il risultato è che possiamo ascoltare una voce perfettamente sincronizzata con la scena, ma osservando il volto dell’attore ci accorgiamo che qualcosa non torna.
È una discrepanza alla quale il pubblico si è abituato talmente tanto da non farci quasi più caso. Prime Video vuole però provare a eliminarla.
L’AI modifica anche quello che vediamo
La tecnologia sperimentata dalla piattaforma parte da un presupposto abbastanza diverso rispetto ai sistemi tradizionali.
Il doppiaggio continua a essere realizzato da persone. Non è quindi l’intelligenza artificiale a prendere semplicemente la voce di un attore e generare automaticamente una nuova interpretazione. L’AI interviene invece sull’immagine.
Attraverso una combinazione di intelligenza artificiale ed effetti visivi, il sistema cerca di adattare il movimento delle labbra alle parole pronunciate nella nuova lingua. In teoria, quindi, quando ascoltiamo una battuta in inglese, anche la bocca dell’attore dovrebbe assumere movimenti più compatibili con quella frase.
L’obiettivo non è creare un effetto evidente, ma esattamente il contrario: fare in modo che lo spettatore non si accorga dell’intervento tecnologico.
È questo il passaggio più interessante dell’esperimento. Se il risultato è convincente, la tecnologia potrebbe intervenire su uno dei dettagli che rendono immediatamente riconoscibile una scena doppiata.
E non si tratta soltanto di una questione estetica. Una maggiore coerenza tra audio e immagine potrebbe rendere più naturale l’esperienza per chi guarda contenuti prodotti originariamente in altre lingue.
Prime Video aveva già iniziato a usare l’AI
L’esperimento con Maxton Hall non arriva completamente dal nulla. Prime Video aveva già sperimentato il doppiaggio assistito dall’intelligenza artificiale in inglese e spagnolo su 12 film e serie. In quel caso l’AI veniva utilizzata per supportare il processo di localizzazione audio.
Con il nuovo sistema, invece, il concetto viene portato un passo più avanti. Non si cerca soltanto di ottenere una versione audio in una lingua diversa, ma di rendere coerente anche l’immagine con quella nuova traccia.
È una differenza importante perché introduce un secondo livello di adattamento. La traduzione modifica quello che ascoltiamo; la tecnologia di sincronizzazione prova a modificare quello che vediamo.
Naturalmente, la sfida tecnica è tutt’altro che banale. Un volto umano non è un’immagine statica. Quando una persona parla cambiano continuamente labbra, guance, mandibola ed espressioni facciali. Intervenire soltanto sulla bocca senza compromettere il resto del volto richiede quindi un’elaborazione molto più sofisticata rispetto a una semplice modifica grafica.
Il rischio è creare volti artificiali
Ed è proprio qui che si giocherà la partita. Una tecnologia di questo tipo può funzionare molto bene in una dimostrazione controllata, ma il cinema e le serie televisive presentano situazioni estremamente complesse: primi piani, movimenti rapidi della testa, scene con più persone, illuminazione variabile e dialoghi caratterizzati da emozioni molto diverse.
Il rischio è che la modifica delle labbra produca movimenti artificiali, deformazioni o piccoli artefatti sul volto.
Sono difetti che potrebbero essere ancora più evidenti proprio perché riguardano una parte del corpo alla quale il nostro cervello presta moltissima attenzione.
Per questo Maxton Hall rappresenta soprattutto un banco di prova. Se il sistema riuscirà a modificare le labbra mantenendo naturale l’espressione degli attori, la tecnologia potrebbe avere margini di applicazione molto più ampi.
Se invece l’intervento dovesse risultare facilmente riconoscibile, il vantaggio sarebbe decisamente più limitato.
Non è soltanto Prime Video a muoversi
Il settore sta comunque andando nella stessa direzione anche al di fuori di Amazon. Tecnologie simili stanno iniziando a comparire anche in altri servizi digitali, compresi YouTube e le piattaforme di Meta, dove l’intelligenza artificiale viene utilizzata per rendere i contenuti più facilmente fruibili in lingue differenti.
La localizzazione automatizzata è infatti diventata uno dei campi nei quali l’AI può avere un impatto concreto. Tradurre un testo è ormai relativamente semplice. Generare o adattare una voce è diventato altrettanto accessibile. Il passaggio successivo consiste nel fare in modo che audio, video e movimento del volto siano coerenti tra loro.
Ed è probabilmente proprio questo il motivo per cui l’esperimento di Prime Video è interessante anche al di là della singola serie.
Il doppiaggio potrebbe diventare quasi invisibile
Per il momento non siamo davanti alla sostituzione dei doppiatori e nemmeno a una nuova tecnologia già pronta per essere applicata indistintamente a tutti i contenuti.
Il progetto resta un esperimento e dovrà essere valutato soprattutto sulla qualità del risultato finale. Ma il principio è significativo. Per decenni abbiamo considerato normale vedere un attore pronunciare parole apparentemente diverse da quelle che sentiamo. Ora l’intelligenza artificiale può provare a intervenire proprio su questa contraddizione.
Se la tecnologia riuscirà a diventare abbastanza precisa, il doppiaggio potrebbe evolversi in qualcosa di molto più sofisticato rispetto alla semplice sostituzione della voce.
Potremmo avere un’immagine adattata alla lingua, con movimenti delle labbra più naturali e una maggiore continuità tra ciò che ascoltiamo e ciò che vediamo.
La vera domanda, quindi, non è soltanto se l’AI riuscirà a doppiare una serie. È se riuscirà a farci dimenticare completamente che stiamo guardando qualcosa che è stato doppiato. E, nel caso di Prime Video, Maxton Hall sarà uno dei primi test per capire se questa idea può davvero funzionare.
