Booq — traducción y doblaje de vídeo con IA, con el persa como idioma principal

De un vistazo

• Localizar contenidos audiovisuales exigía una cadena de traductores, actores de doblaje, estudios y editores: cada uno, un proveedor y una factura distintos.
• Una sola aplicación web, con el persa como idioma principal, para traducción, doblaje, pódcasts, música, imágenes y películas, con pago desde un único monedero.
• En funcionamiento y en desarrollo activo, con notas de versión para clientes generadas a partir de los despliegues en producción.

Aspectos destacados

• Cinco formas de localizar un vídeo

  Subtítulos originales o traducidos, doblaje, o doblaje con cualquiera de las dos pistas de subtítulos; un resultado por idioma, más un paquete único.

• Una voz distinta para cada hablante

  El doblaje con varios hablantes detecta quién habla, asigna a cada hablante una voz distinta y ajusta la sincronización al original.

• 30 voces y una línea de tiempo para pódcasts

  Narración, silencios y clips musicales en una sola línea de tiempo; la música baja de volumen solo mientras alguien habla.

• Música y canciones a partir de una descripción

  Piezas instrumentales originales y canciones completas, con un modo estricto que conserva la letra exacta del usuario, además de traducción opcional de la letra.

• 115 estilos visuales en 6 grupos

  Cámara, color, iluminación, material, estilo artístico y técnica, combinados sin jerga de prompts; y una copia opcional en mayor resolución de cada imagen.

• De la historia a la película en 9 etapas guiadas

  Cada etapa muestra primero su plan; el usuario puede aceptarlo, regenerarlo, editarlo o subir el suyo propio. Las fichas de personaje mantienen la coherencia de los personajes entre planos.

El reto

Localizar un vídeo suele exigir una cadena de especialistas: un traductor, actores de doblaje, un estudio de grabación y un editor de vídeo, y a menudo también un diseñador y un compositor. Cada eslabón es un proveedor distinto, con su propio formato de archivo y su propia factura, y el calendario se retrasa en los traspasos entre unos y otros.

Para los creadores, las empresas y los docentes de habla persa a los que se dirige Booq, las condiciones ponen el listón aún más alto. Los pagos se hacen en tomanes a través de una pasarela local, los archivos de vídeo pesados viajan por conexiones irregulares y la interfaz tiene que resultar nativa en un idioma que se escribe de derecha a izquierda, no parecer traducida a él.

Por debajo, cada funcionalidad depende de proveedores externos de IA, y cualquiera de ellos puede fallar o cambiar por su cuenta. La plataforma tenía que seguir funcionando cuando eso ocurriera, y quien tiene algo que decir no debería tener que convertirse en editor de vídeo para decirlo.

Arquitectura

Booq es un conjunto de servicios independientes detrás de una sola aplicación web, con una pasarela propia para cada proveedor de IA. Esa única decisión es la que permite cambiar un modelo, rotar una clave o sortear automáticamente a un proveedor que falla, sin tocar el resto del producto.

• Todo trabajo pasa por una cola. El procesamiento pesado espera en colas de prioridad persistentes, con límites por servicio, en lugar de ejecutarse dentro de una petición web.

• El trabajo se reanuda, no se reinicia. Las traducciones guardan puntos de control y, tras una caída, continúan donde se quedaron, y las subidas de archivos grandes se reanudan con una conexión deficiente en lugar de empezar de cero.

• El dinero sigue al trabajo. Un único monedero prepago en tomanes, el IVA visible desde el principio, un registro contable permanente, descuentos aplicados exactamente como se presupuestaron y reembolsos automáticos cuando un trabajo falla.

• Tres aplicaciones, no una. Clientes, administradores y personal de soporte usan cada uno una aplicación desplegada por separado, y una sesión iniciada en una no sirve en otra.

• Interruptores, no versiones. Las áreas del producto se activan o desactivan sin publicar una versión, y los modelos y las claves de los proveedores se cambian desde el panel de administración.

La plataforma se ejecuta en un clúster de contenedores definido como código, con las cargas de trabajo pesadas situadas junto a sus datos. Cada versión pasa por compilación, pruebas, un despliegue en preproducción y una prueba de humo antes de que una persona la apruebe para producción, y se puede lanzar manualmente una reversión de emergencia a la versión anterior.

Lo que construí

Un único espacio de trabajo cubre todo el recorrido, desde el material de origen hasta el archivo terminado.

Traducción y doblaje de vídeo

• Cinco modos de salida: subtítulos en el idioma original, subtítulos traducidos, solo doblaje, doblaje con subtítulos originales o doblaje con subtítulos traducidos.

• Doblaje con varios hablantes: se detectan los hablantes, cada uno recibe una voz distinta y la sincronización se ajusta al original.

• Automático o interactivo: se ejecuta sin intervención, o se detiene para revisar y editar los subtítulos antes de renderizar nada.

• Acabado listo para emisión: subtítulos incrustados y con estilo para vídeo vertical y panorámico, con el audio original o la música de fondo sonando suavemente por debajo del doblaje.

• Carga por lotes y por enlace: se sube un archivo comprimido con varios vídeos o se pega un enlace de una red social, con detección automática del idioma de origen y el precio visible antes de cobrar nada.

Voz, pódcasts y música

• 30 voces de IA con indicaciones de tono, que se aplican como instrucción y no se leen en voz alta.

• Estudio de Pódcast: narración, silencios y clips de audio en una sola línea de tiempo; la voz puede entrar sobre el final de un clip musical, y la música baja de volumen solo mientras alguien habla.

• Música y canciones: piezas instrumentales originales a partir de una descripción, y canciones completas con letra generada por IA o escrita por el usuario, incluido un modo estricto que mantiene las palabras exactas, además de traducción opcional de la letra.

• Transcripción a subtítulos o texto plano, con puntuación por IA y revisión humana opcional.

Imágenes y películas

• Estudio de Estilos Visuales: 115 estilos en 6 grupos, para componer una estética sin jerga de prompts, además de una copia opcional en mayor resolución de cada imagen.

• Estudio de Vídeo con IA: un tema o una historia se convierte en una película renderizada a lo largo de 9 etapas guiadas: historia, desglose, estilo visual, personajes, fichas de personaje, banda sonora, planos, montaje y renderizado.

• Diseño de sonido: 744 efectos de sonido gratuitos y de dominio público dentro del estudio, en una línea de tiempo de audio multipista.

En torno al trabajo

• Mi Biblioteca reúne en un solo lugar todo lo que se sube y todo lo que se genera, disponible allí donde haga falta un archivo.

• Privado por defecto: solo el propietario puede descargar un resultado, salvo que cree un enlace para compartirlo.

• Tres idiomas de interfaz: persa por defecto, además de inglés y árabe, con soporte completo de derecha a izquierda, e instalable como aplicación web.

• Un creador de páginas y un blog bilingües, para publicar páginas de marketing sin desarrolladores.

Resultado

Booq está en funcionamiento y en desarrollo activo. Los despliegues en producción generan notas de versión para los clientes, sin nombres internos, traducidas al persa y al árabe y editables por los administradores.

Hoy un creador puede llevar un mismo vídeo a varios idiomas en un único proyecto, como subtítulos, doblaje o ambos, y producir pódcasts, música, imágenes y películas en el mismo espacio de trabajo, con todos los resultados reunidos en una sola biblioteca. Cada trabajo muestra su precio, o su estimación inicial, antes de ejecutarse, y si un trabajo falla, su importe se devuelve automáticamente.

El equipo de operaciones puede cambiar de modelo, rotar las claves de los proveedores y activar o desactivar áreas del producto sin publicar una versión, así como publicar páginas de marketing sin un desarrollador. Las copias de seguridad se hacen cada hora, y una copia de producción se verificó leyéndola de principio a fin.

Post-mortem

Operar la plataforma en producción llevó a varios cambios de rumbo. En cada uno, una suposición cómoda dio paso a un comportamiento por defecto más seguro.

Síntesis de voz. Al principio, la síntesis de voz se ligó a propósito a un único proveedor, porque otro proveedor significa otra voz. Cuando ese proveedor sufrió una caída, los doblajes se montaron con silencios donde faltaban frases. Ahora la voz recurre a una cadena de proveedores de respaldo, con el principio de que una voz ligeramente distinta es mejor que el silencio.

Moderación. El filtrado de contenido se ejecutaba antes dentro de la creación del proyecto, así que los usuarios esperaban entre el final de la subida y la página de su proyecto. Ahora se ejecuta en segundo plano, y un resultado terminado se mantiene en «revisión de contenido en curso» hasta que la revisión concluye, de modo que no se presenta como listo mientras su revisión sigue en marcha.

Versiones y copias de seguridad. Los despliegues en producción pasaron de ser automáticos a requerir una aprobación manual que solo se habilita cuando se superan las comprobaciones en preproducción. Las copias de seguridad pasaron a ser horarias, y la más reciente se leyó de principio a fin, porque una copia de seguridad que nadie ha leído nunca no es una copia de seguridad.

Mi papel

• Como CTO, definió la arquitectura de Booq: servicios independientes, una pasarela propia para cada proveedor de IA y tres aplicaciones desplegadas por separado para clientes, administradores y personal.
• Llevó la plataforma desde su primer commit hasta un clúster de contenedores en producción definido como código, con controles de publicación que culminan en una aprobación manual.
• Fue responsable de las decisiones de producto y de precios del programa de lanzamiento (campañas de precios, licencias y política de almacenamiento) y lo dirigió como un programa estructurado, con pasos de verificación y de reversión.
• Como responsable de producto, fijó los requisitos del Estudio de Vídeo con IA, y construyó la base del Estudio de Estilos Visuales a partir de su propia colección de estilos seleccionados.
• Dirigió un flujo de ingeniería apoyado en IA, encargando a agentes de programación que investigaran buenas prácticas, planificaran por fases y entregaran a producción pasando por preproducción.

Ingeniería

• Los proveedores fallan; el producto sigue funcionando

  Cada proveedor de IA está detrás de su propia pasarela con respaldo automático, y los modelos y las claves se cambian desde el panel de administración sin volver a desplegar.

• Preparado para caídas y conexiones débiles

  Las traducciones se reanudan desde puntos de control tras una caída, y las subidas de varios gigabytes se reanudan en una red deficiente en lugar de empezar de cero.

• Gestión defensiva del dinero

  Los trabajos fallidos se reembolsan automáticamente, los reembolsos están protegidos contra pagos duplicados y cada transacción queda en un registro contable permanente.

• Filtrado antes de mostrarse como listo

  Imágenes, vídeo, audio y texto pasan un filtrado en segundo plano, con una vía de apelación; un resultado terminado queda retenido hasta que concluye su revisión.

• Control de acceso por capas

  Aplicaciones separadas para clientes, administradores y personal; las consolas exigen un segundo factor y usan permisos basados en roles.

• Monitorizado, probado bajo carga y con copias de seguridad

  Paneles con alertas enrutadas según su gravedad, pruebas de carga previas al lanzamiento con umbrales de aceptación o rechazo, y copias de seguridad cada hora, una de las cuales se verificó leyéndola de principio a fin.

Resultados

• En funcionamiento y en desarrollo activo, con una interfaz pensada primero para el persa y disponible en persa, inglés y árabe.
• Un creador puede llevar un mismo vídeo a varios idiomas en un único proyecto, como subtítulos, doblaje o ambos.
• Pódcasts, música, imágenes y películas se producen en el mismo espacio de trabajo y se reúnen en una sola biblioteca.
• El equipo de operaciones cambia de modelo, rotan claves y activan o desactivan áreas del producto sin publicar una versión.
• Los despliegues en producción generan notas de versión para clientes, traducidas al persa y al árabe y editables por los administradores.