Booq — ИИ-перевод и дубляж видео с фокусом на персидский язык

Коротко

• Локализация медиаконтента означала цепочку из переводчиков, актёров озвучания, студий и монтажёров: каждый — отдельный подрядчик и отдельный счёт.
• Единое веб-приложение с фокусом на персидский язык для перевода, дубляжа, подкастов, музыки, изображений и фильмов с оплатой из одного кошелька.
• Запущен и активно развивается; примечания к релизам для клиентов создаются на основе развёртываний в промышленной среде.

Главное

• Пять способов локализовать одно видео

  Оригинальные или переведённые субтитры, дубляж или дубляж с любой из двух дорожек субтитров; отдельный результат для каждого языка плюс единый пакет.

• Свой голос для каждого говорящего

  Многоголосый дубляж определяет, кто говорит, назначает каждому говорящему свой голос и выравнивает тайминг по оригиналу.

• 30 голосов и таймлайн для подкастов

  Начитка, паузы и музыкальные фрагменты на одном таймлайне; музыка приглушается только тогда, когда кто-то говорит.

• Музыка и песни по брифу

  Оригинальные инструментальные композиции и полноценные песни со строгим режимом, который дословно сохраняет текст пользователя, и с возможностью перевода текста песни.

• 115 визуальных стилей в 6 группах

  Камера, цвет, освещение, материал, художественный стиль и техника: образ собирается без жаргона промптов; по желанию — копия каждого изображения в более высоком разрешении.

• От истории до фильма: 9 этапов с сопровождением

  На каждом этапе сначала показывается план: пользователь может принять его, сгенерировать заново, отредактировать или загрузить собственный вариант. Листы персонажей сохраняют единый облик персонажей от кадра к кадру.

Задача

Локализация видео обычно требует целой цепочки специалистов: переводчика, актёров озвучания, студии звукозаписи и монтажёра, а нередко ещё дизайнера и композитора. Каждое звено — отдельный подрядчик со своим форматом файлов и своим счётом, и сроки срываются на передаче работы от одного к другому.

Для персоязычных авторов контента, компаний и преподавателей, для которых создан Booq, планка ещё выше. Платежи проходят в томанах через местный платёжный шлюз, крупные видеофайлы передаются по нестабильным каналам связи, а интерфейс должен восприниматься как изначально созданный для языка с письмом справа налево, а не переведённый на него.

При этом каждая функция зависит от внешних поставщиков ИИ, и любой из них может отказать или измениться независимо от остальных. Платформа должна была продолжать работать в такой ситуации, а человек, которому есть что сказать, не должен быть вынужден становиться видеомонтажёром, чтобы высказаться.

Архитектура

Booq — это набор независимых сервисов за единым веб-приложением, с отдельным шлюзом для каждого поставщика ИИ. Именно это решение позволяет сменить модель, провести ротацию ключа или автоматически обойти отказавшего поставщика, не затрагивая остальную часть продукта.

• Каждая задача ставится в очередь. Тяжёлая обработка не выполняется внутри веб-запроса, а ожидает в персистентных приоритетных очередях с лимитами для каждого сервиса.

• Работа возобновляется, а не начинается заново. Переводы сохраняют контрольные точки и после сбоя продолжаются с места остановки; загрузка крупных файлов при плохом соединении тоже возобновляется, а не стартует сначала.

• Деньги следуют за работой. Единый предоплаченный кошелёк в томанах, НДС, показанный до оплаты, постоянный реестр операций, скидки, применяемые ровно так, как указано в расчёте цены, и автоматический возврат средств при сбое задачи.

• Три приложения вместо одного. Клиенты, администраторы и сотрудники поддержки работают каждый в своём, отдельно развёрнутом приложении, и вход, выполненный в одном, недействителен в другом.

• Переключатели вместо релизов. Разделы продукта включаются и отключаются без выпуска релиза, а модели и ключи поставщиков меняются из панели администратора.

Платформа работает на контейнерном кластере, описанном как код, а ресурсоёмкие нагрузки размещены рядом со своими данными. Каждый релиз проходит сборку, тесты, развёртывание в тестовой среде и smoke-тест, прежде чем человек одобрит его для промышленной среды, а экстренный откат к предыдущей версии можно запустить вручную.

Решение

Единое рабочее пространство охватывает весь путь от исходного материала до готового файла.

Перевод и дубляж видео

• Пять вариантов результата: субтитры на языке оригинала, переведённые субтитры, только дубляж, дубляж с оригинальными субтитрами или дубляж с переведёнными субтитрами.

• Многоголосый дубляж: система распознаёт говорящих, назначает каждому свой голос и выравнивает тайминг по оригиналу.

• Автоматически или интерактивно: полностью автоматический запуск или пауза, чтобы проверить и отредактировать субтитры до начала рендеринга.

• Результат, готовый к эфиру: стилизованные вшитые субтитры для вертикального и широкоформатного видео, а исходная звуковая дорожка или фоновая музыка негромко звучит под дубляжом.

• Пакетная загрузка и загрузка по ссылке: можно загрузить архив с видео или вставить ссылку из соцсети; исходный язык определяется автоматически, а цена отображается до любого списания средств.

Голос, подкасты и музыка

• 30 ИИ-голосов с указанием интонации, которое применяется как инструкция, а не зачитывается вслух.

• Студия подкастов: начитка, паузы и аудиофрагменты на одном таймлайне; голос может вступать поверх окончания музыкального фрагмента, а музыка приглушается только тогда, когда кто-то говорит.

• Музыка и песни: оригинальные инструментальные композиции по брифу и полноценные песни на тексты, написанные ИИ или пользователем, включая строгий режим, который сохраняет слова в точности, и возможность перевести текст песни.

• Транскрибация в субтитры или обычный текст с расстановкой пунктуации силами ИИ и проверкой человеком по желанию.

Изображения и фильмы

• Студия визуальных стилей: 115 стилей в 6 группах, чтобы задавать визуальный образ без жаргона промптов, плюс копия каждого изображения в более высоком разрешении по желанию.

• ИИ-видеостудия: тема или история превращается в готовый фильм за 9 этапов с пошаговым сопровождением: история, разбивка на сцены, визуальный стиль, персонажи, листы персонажей, саундтрек, кадры, монтаж и рендеринг.

• Звуковой дизайн: 744 бесплатных звуковых эффекта из общественного достояния прямо в студии, на многодорожечном аудиотаймлайне.

Сопутствующие возможности

• «Моя библиотека» хранит все загрузки и все результаты в одном месте, и они доступны везде, где нужен файл.

• Приватность по умолчанию: скачать результат может только владелец, если он сам не создаст ссылку для общего доступа.

• Три языка интерфейса: по умолчанию персидский, а также английский и арабский, с полной поддержкой письма справа налево и возможностью установки как веб-приложения.

• Двуязычный конструктор страниц и блог, благодаря которым маркетинговые страницы публикуются без участия разработчиков.

Результат

Booq запущен и активно развивается. При развёртываниях в промышленной среде формируются примечания к релизу для клиентов: внутренние названия из них удаляются, текст переводится на персидский и арабский, а администраторы могут его редактировать.

Теперь автор может в рамках одного проекта перевести видео на несколько языков — в виде субтитров, дубляжа или и того и другого — и создавать подкасты, музыку, изображения и фильмы в том же рабочем пространстве, а все результаты попадают в единую библиотеку. Каждая задача до запуска показывает свою цену или начальную оценку, а при сбое задачи списанная сумма возвращается автоматически.

Операторы платформы могут без выпуска релиза менять модели, проводить ротацию ключей поставщиков и включать или отключать разделы продукта, а также публиковать маркетинговые страницы без разработчика. Резервные копии создаются ежечасно, а одна из резервных копий промышленной среды была проверена полным чтением от начала до конца.

Разбор

Эксплуатация платформы в промышленной среде привела к нескольким сменам курса. Каждый раз удобное допущение уступало место более безопасному поведению по умолчанию.

Синтез речи. Сначала синтез речи намеренно был закреплён за одним поставщиком, потому что другой поставщик — это другой голос. Когда у этого поставщика случился сбой, дубляж собирался с тишиной на месте недостающих реплик. Теперь при сбое синтез речи переключается по цепочке поставщиков — исходя из принципа, что немного другой голос лучше тишины.

Модерация. Раньше проверка контента выполнялась в процессе создания проекта, и пользователи ждали между завершением загрузки и открытием страницы проекта. Теперь она идёт в фоновом режиме, а готовый результат удерживается в статусе «идёт проверка контента» до её завершения, чтобы результат не показывался готовым, пока проверка ещё продолжается.

Релизы и резервное копирование. Развёртывание в промышленной среде перешло от автоматического к ручному одобрению, которое становится доступным только после успешных проверок в тестовой среде. Резервное копирование стало ежечасным, а самая свежая копия была прочитана от начала до конца, потому что резервная копия, которую никто ни разу не читал, — это не резервная копия.

Моя роль

• В роли технического директора определил архитектуру Booq: независимые сервисы, отдельный шлюз для каждого поставщика ИИ и три отдельно развёрнутых приложения для клиентов, администраторов и сотрудников.
• Провёл платформу от первого коммита до контейнерного кластера промышленной среды, описанного как код, с контрольными этапами релиза, которые завершаются ручным одобрением.
• Отвечал за продуктовые и ценовые решения в программе запуска (ценовые кампании, политика лицензирования и хранения данных) и вёл её как структурированную программу с шагами проверки и отката.
• Как владелец продукта сформулировал требования к ИИ-видеостудии и сформировал исходный каталог Студии визуальных стилей из собственной авторской подборки стилей.
• Руководил инженерным процессом с применением ИИ: ставил задачи ИИ-агентам для написания кода — изучить лучшие практики, спланировать работу по этапам и довести изменения через тестовую среду до промышленной.

Инженерия

• Поставщики отказывают, продукт продолжает работать

  Каждый поставщик ИИ находится за собственным шлюзом с автоматическим переключением на резерв, а модели и ключи меняются из панели администратора без повторного развёртывания.

• Готовность к сбоям и слабым соединениям

  После сбоя переводы возобновляются с контрольных точек; загрузки объёмом в несколько гигабайт при плохой сети продолжаются с места обрыва, а не начинаются заново.

• Осторожная работа с деньгами

  За задачи, завершившиеся сбоем, средства возвращаются автоматически, возвраты защищены от повторной выплаты, а каждая транзакция попадает в постоянный реестр.

• Сначала проверка, затем статус «готово»

  Изображения, видео, аудио и текст проверяются в фоновом режиме, предусмотрена процедура обжалования; готовый результат удерживается до завершения проверки.

• Многоуровневый контроль доступа

  Отдельные приложения для клиентов, администраторов и сотрудников; для входа в консоли нужен второй фактор, и они используют ролевое разграничение прав.

• Мониторинг, нагрузочные тесты, резервные копии

  Дашборды с оповещениями, маршрутизируемыми по степени критичности, нагрузочные тесты перед запуском с порогами прохождения и ежечасные резервные копии, одна из которых проверена полным чтением от начала до конца.

Результаты

• Запущен и активно развивается; интерфейс с фокусом на персидский язык доступен на персидском, английском и арабском.
• Автор может в одном проекте перевести видео на несколько языков — в виде субтитров, дубляжа или и того и другого.
• Подкасты, музыка, изображения и фильмы создаются в одном рабочем пространстве и попадают в единую библиотеку.
• Операторы меняют модели, проводят ротацию ключей и включают или отключают разделы продукта без выпуска релиза.
• При развёртываниях в промышленной среде формируются примечания к релизу для клиентов, которые переводятся на персидский и арабский и доступны администраторам для редактирования.