Durante el rodaje del thriller de acción de 2015 Heist , la estrella Robert De Niro llamó al director Scott Mann una noche para preguntarle qué gemelos pensaba que debería usar su personaje.

“Leía una escena y la analizaba hasta el último detalle”, recuerda Mann. “Hay un nivel de consideración que abarca cada pequeño detalle en la pantalla”.

Esta atención a las pequeñas cosas, dice Mann, resultó en nada cuando la película se estrenó en territorios de habla no inglesa. El culpable: un doblaje incorrecto. “Los doblajes eliminaron efectivamente la forma en que [De Niro] tomaba las decisiones de los personajes, al cambiar el diálogo para adaptarlo a sus movimientos faciales, en lugar de adaptar el guión y mantenerse fiel a su interpretación”, dice el director británico. “Se hizo evidente que el proceso no funciona. En el mejor de los casos, es un compromiso “.

Así que Mann se propuso encontrar una solución. Después de tres años trabajando juntos, él y el cofundador Nick Lynes, quien tiene experiencia en desarrollo de software, hoy están presentando formalmente su compañía Flawless, que emplea inteligencia artificial para doblar películas en cualquier idioma. La pareja cree que el “laboratorio de cine de red neuronal” con sede en Londres creará nuevas oportunidades para que los cineastas y los estudios atraigan al público tanto aquí como en el extranjero.

Este no es el primer intento de intentar resolver el problema del doblaje con inteligencia artificial. El año pasado, Amazon desarrolló IA para copiar automáticamente películas en otros idiomas, aunque la tecnología produce una voz que no suena remotamente humana. El sistema Flawless es muy diferente. En primer lugar, en lugar de dejar el doblaje para la posproducción, el audio se puede grabar antes, ya que no es necesario modificar los guiones para que los actores de voz se adapten a los movimientos de la boca en el metraje.

La tecnología Flawless ‘se inspiró en una colaboración con el Instituto Max Planck de Informática en Alemania, cuya investigación sobre la recreación y edición digital de rostros impresionó a Mann. La compañía utiliza una red neuronal para estudiar millones de puntos de datos visuales dentro de las secuencias de la película, las imágenes sin editar de un día de filmación, que luego se ingresan en un sistema que puede recrear la actuación de un actor en otro idioma.

“Diseñamos el sistema para que no interrumpa el proceso de realización de películas”, explica Mann. “La extracción de datos faciales”, un proceso computacional que requiere mucho tiempo, “se ejecuta en paralelo con la producción en sí”. La tecnología elimina los rostros de los actores, convirtiendo sus rostros en un modelo 3D, según Lynes. “Esto crea millones de modelos 3D, que la IA utiliza como puntos de referencia”, dice.

“Y luego, utilizando una grabación existente del diálogo en un idioma extranjero, estudia al actor y genera un nuevo modelo 3D por cuadro”, agrega. Finalmente, las imágenes se vuelven a convertir a 2D. Los artistas de efectos digitales pueden corregir manualmente cualquier cosa que parezca mal.

Hagas lo que hagas, no llames a esto deepfakery, dice Mann. “Los deepfakes usan el reemplazo facial bidimensional para secuestrar la identidad de las personas”, dice, “que es lo opuesto a lo que hacemos, que es utilizar redes neuronales de manera responsable para mejorar un desempeño. También tenemos en cuenta la geometría y la geografía de la imagen, que es la mayor diferencia: esto crea un rendimiento completamente tridimensional”.

Flawless ha probado la técnica en clips de películas clásicas, como Forrest Gump y A Few Good Men , y ha proyectado ampliamente los resultados a audiencias que no hablan inglés para reducir los efectos del “valle inquietante” de sus primeros intentos. Estas pruebas resultaron útiles: tanto Mann como Lynes dicen que los hablantes nativos de español pudieron notar problemas de sincronización de diálogos con el doblaje al español de Flawless de Forrest Gump que inicialmente los había pasado de largo.

Durante el año pasado, la pareja ha estado mostrando su tecnología en Hollywood, hablando con actores y productores para evaluar sus pensamientos. “No nombraré nombres, pero he mostrado algunos de nuestros clips a los actores involucrados, y ellos vienen a esto desde un lugar similar al mío”, dice Mann. “Han visto sus actuaciones sufrir por malos doblajes antes, y la respuesta más común que tengo cuando les envié estos clips de prueba es, ‘¡Mierda! ¡Guau!’ Es extraño que alguien se dé cuenta de que de repente puede hablar japonés “.

Advertisement. Scroll to continue reading.

TE NECESITAMOS: Google nos ha censurado la publicidad por ser peligrosa nuestra información. Somos un espacio de análisis lejos de los dogmas de la corrección política por lo que puedes  colaborar haciendo una DONACIÓN (pulsando aquí)

Mann dice que Flawless está en conversaciones con estudios de cine y ya está trabajando con un transmisor, un acuerdo que esperan anunciar oficialmente pronto. La compañía espera que la primera película que utilice esta tecnología se lance en los próximos 12 meses. En cuanto al costo, dice, “Nuestra investigación sugiere que esto diferirá según el caso. Pero cuando es probable que Hollywood pague 60 millones de dólares para rehacer Otra ronda ”, ganadora del Premio de la Academia 2021 al Mejor Largometraje Internacional,“ en inglés, puedo decir con seguridad que esto costaría casi 60 millones menos ”.

Aunque Scott prefiere los subtítulos a los malos doblajes, todavía no es fanático del primero. “Siempre pienso en cómo encuadramos una toma, y ​​eso se pierde si la gente está ocupada leyendo los subtítulos en la parte inferior de la pantalla. Eso no es ver la película como estaba destinada a ser vista. Esta es la solución para garantizar que las audiencias de todo el mundo experimenten una película, ya que un director y un editor la cortaron: cómo se escribió, cómo se realizó ”.

Mann anticipa cierto “nerviosismo natural” del público, especialmente los amantes de los subtítulos, a quienes señala que son una pequeña parte del público general que va al cine. (Por supuesto, hay quienes los usan por necesidad). “Habrá personas que se negarán a ver nuestros doblajes y dirán que los subtítulos son la forma más pura, pero esto ayuda a compartir grandes historias internacionales con aquellos que de otra manera nunca habrían visto ellos ”, dice Mann. “Pronto alcanzaremos el nivel en el que no te darás cuenta de que lo hemos hecho y el debate se resolverá por sí solo”.

Este artículos se publicó en inglés https://www.inputmag.com/

COMPARTE: