La localización de contenidos audiovisuales ha evolucionado significativamente en los últimos años gracias a los avances en inteligencia artificial (IA). La tradicional práctica de doblaje, que implica una sincronización meticulosa del audio y video para reemplazar el idioma original, ha sido fundamental para superar las barreras lingüísticas, mejorar la participación de la audiencia y ampliar el alcance de los mercados. Sin embargo, este proceso resulta costoso y demanda mucho tiempo, con un costo estimado de $20 por minuto si se utiliza un revisor humano. Ante este panorama, el doblaje automático a través de IA generativa se posiciona como una solución accesible y eficiente para los creadores de contenido.
Una solución innovadora y económica para el doblaje automático de video está ganando protagonismo. Esta solución emplea Amazon Translate, un servicio de traducción automática neuronal que proporciona traducciones rápidas, de alta calidad y a bajo costo. La post-edición se realiza con Amazon Bedrock, que mejora la calidad de la traducción y ofrece una gama de capacidades para construir aplicaciones de IA generativa de manera segura y responsable.
MagellanTV, una destacada plataforma de transmisión de documentales, está expandiendo su presencia global mediante la internacionalización de su contenido. Frente a los desafíos y altos costos del doblaje manual, MagellanTV recurrió a Mission Cloud, un socio Premier de AWS, para encontrar una solución innovadora.
La solución de Mission Cloud se distingue por su detección idiomática y reemplazo automático, así como por su capacidad de escalar en tiempo real sin interrupciones y procesar lotes de manera flexible y eficiente. El proceso se inicia con la especificación de entradas en una plantilla de Excel, que se carga en un bucket de Amazon S3, desencadenando así toda la cadena de procesamiento. Los resultados finales incluyen un archivo de video doblado y subtítulos traducidos.
El sistema utiliza Amazon Translate para traducir los subtítulos del video y Amazon Bedrock para mejorar la calidad de la traducción y habilitar el escalado de tiempo automático para sincronizar audio y video. Amazon Augmented AI permite a los editores revisar el contenido, el cual luego es enviado a Amazon Polly para generar voces sintéticas para el video. Además, se ha desarrollado un modelo que predice la expresión de género del hablante y asigna una expresión concordante.
En el backend, AWS Step Functions orquesta los pasos anteriores como una cadena de procesos, cada uno ejecutado en AWS Lambda o AWS Batch. Gracias a AWS CloudFormation, una herramienta de infraestructura como código (IaC), la solución es reutilizable para el doblaje de nuevos idiomas extranjeros.
Amazon Translate fue seleccionado debido a su soporte para más de 75 idiomas, la precisión validada de sus traducciones y la capacidad de agregar glosarios terminológicos personalizados. Amazon Bedrock, por su parte, se encarga de la post-edición para mejorar los subtítulos del video después de la traducción inicial, adaptando especialmente los idioms en géneros con más conversación casual. Por ejemplo, en géneros científicos donde hay menos idioms, esta función puede desactivarse; mientras que en géneros más informales, se activa para mayor precisión.
El desarrollo de un algoritmo de acortamiento de oraciones con Amazon Bedrock ha mejorado significativamente el rendimiento del doblaje de video y reduce el esfuerzo de revisión humana, resultando en un ahorro de costos.
Esta nueva pipeline, en constante desarrollo, ha resultado revolucionaria para MagellanTV, resolviendo eficientemente varios desafíos comunes en la industria de medios y entretenimiento. La solución única desarrollada por Mission Cloud abre nuevas oportunidades para distribuir contenido a nivel mundial, reduciendo costos mediante el uso de IA generativa y soluciones avanzadas para la detección y resolución de idioms, acortamiento de oraciones y personalización de terminología y tono.
