Booq——波斯语优先的AI视频翻译与配音
Booq是一个已上线运营、波斯语优先的AI平台,把译者、配音演员、录音棚和剪辑师的工作整合进一个网页应用。Mohammad Panahi作为首席技术官,制定了平台架构,并将其从第一次代码提交一路推进到生产环境,涵盖视频翻译与配音、音频、音乐、图像和影片,统一通过一个钱包付费。
概览
- 媒体本地化意味着一条由译者、配音演员、录音棚和剪辑师组成的链条,每一环都是独立的供应商、独立的账单。
- 一个波斯语优先的网页应用,涵盖翻译、配音、播客、音乐、图像和影片,统一通过一个钱包付费。
- 已上线并持续开发中,面向客户的版本说明根据生产环境部署生成。
亮点
一段视频,五种本地化方式
原语言字幕或翻译字幕、配音,或配音搭配任一字幕轨;每种语言一份输出,另附一个统一的打包文件。
每位说话人,各有不同的声音
多说话人配音会识别谁在说话,为每位说话人分配不同的声音,并与原片时间轴对齐。
30种声音与播客时间轴
旁白、静音和音乐片段位于同一条时间轴上;音乐只在有人说话时才会压低。
根据简要说明生成音乐与歌曲
原创纯音乐与完整歌曲,提供逐字保留用户歌词的严格模式,并可选歌词翻译。
6大类115种视觉风格
镜头、色彩、光线、材质、艺术风格与技法,无需提示词术语即可组合;每张图像均可选择生成一份更高分辨率的副本。
从故事到影片,9个引导式阶段
每个阶段都会先展示方案;用户可以接受、重新生成、编辑,或上传自己的版本。角色设定表确保角色在不同镜头之间保持一致。
挑战
本地化一段视频,通常需要一整条专业人员链:译者、配音演员、录音棚和剪辑师,往往还要加上设计师和作曲人。每个环节都是独立的供应商,有各自的文件格式和各自的账单,而进度就在环节之间的交接中不断拖延。
Booq面向的是讲波斯语的创作者、企业和教育工作者,对他们而言,现实条件又进一步抬高了门槛:付款以托曼计价、通过本地支付网关完成;大体积视频文件要在质量参差不齐的网络上传输;界面必须在从右向左书写的语言中显得原生自然,而不是翻译过来的。
在底层,每一项能力都依赖外部AI服务商,而每家服务商都可能各自出现故障或发生变化。其中任何一家出问题时,平台都必须照常运行;而一个有话要说的人,也不应该为了把话说出来而不得不先成为视频剪辑师。
架构
Booq由一组相互独立的服务组成,统一通过一个网页应用对外提供,每家AI服务商都有各自独立的网关。正是这一个决定,使得切换模型、轮换密钥,或自动绕开出故障的服务商成为可能,而无需改动产品的其他部分。
所有任务都进入队列。繁重的处理任务不在网页请求中直接运行,而是在持久化的优先级队列中排队,并为每项服务分别设定上限。
中断后续跑,而非从头再来。翻译任务会保存检查点,崩溃后从中断处继续;大文件上传在网络不佳时也能断点续传,而不必重新开始。
资金随任务流转。以托曼计价的统一预付费钱包,增值税预先列明,交易记入永久账本,折扣严格按报价执行,任务失败时自动退款。
三个应用,而非一个。客户、管理员和支持人员各自使用独立部署的应用,一个应用中的登录在另一个应用中无效。
靠开关,而非发布新版本。产品模块无需发布新版本即可开启或关闭,模型和服务商密钥可在管理后台直接更换。
平台运行在以代码定义的容器集群上,重负载任务与其数据就近部署。每次发布都要依次通过构建、测试、预发布环境部署和冒烟测试,再由人工批准上线生产环境;紧急情况下,还可手动触发回滚至上一版本。
我构建了什么
一个工作区,覆盖从原始素材到成品文件的完整路径。
视频翻译与配音
五种输出模式:原语言字幕、翻译字幕、仅配音、配音加原语言字幕,或配音加翻译字幕。
多说话人配音:识别出各个说话人,为每人分配不同的声音,并与原片时间轴对齐。
自动或交互:可全程无人值守运行,也可在渲染任何内容之前暂停,审阅并编辑字幕。
可直接播出的成品:为竖屏和宽屏视频生成带样式的内嵌硬字幕,并在配音之下以较低音量保留原声或背景音乐。
批量与链接导入:上传视频压缩包或粘贴社交媒体链接,系统自动检测源语言,并在扣费之前显示价格。
语音、播客与音乐
30种AI声音,支持语气指导;语气说明作为指令生效,而不会被朗读出来。
播客工作室:旁白、静音和音频片段排布在同一条时间轴上;人声可以在音乐片段的尾声处叠入,而音乐只在有人说话时才会压低。
音乐与歌曲:根据简要说明创作原创纯音乐,并可生成使用AI歌词或用户自填歌词的完整歌曲,并提供逐字保留原词的严格模式和可选的歌词翻译。
转写为字幕或纯文本,由AI添加标点,并可选人工审校。
图像与影片
视觉风格工作室:6大类共115种风格,无需掌握提示词术语即可组合出想要的画面风格;每张图像还可选择另外生成一份更高分辨率的副本。
AI视频工作室:一个主题或故事,经过9个引导式阶段成为渲染完成的影片:故事、分场拆解、视觉风格、角色、角色设定表、配乐、镜头、剪辑和渲染。
声音设计:工作室内置744个免费的公共领域音效,可在多轨音频时间轴上使用。
配套功能
我的媒体库集中存放每一次上传和每一份输出,任何需要用到文件的地方都可以直接调用。
默认私密:除非所有者创建分享链接,否则只有所有者本人可以下载输出文件。
三种界面语言:默认波斯语,另有英语和阿拉伯语,完整支持从右向左排版,并可作为网页应用安装。
双语页面搭建器与博客,无需开发人员即可上线营销页面。
结果
Booq已上线运营,并在持续开发中。生产环境部署会生成面向客户的版本说明:去除内部名称,翻译为波斯语和阿拉伯语,并可由管理员编辑。
现在,创作者可以在同一个项目中把一段视频转换为多种语言版本,形式可以是字幕、配音或两者兼有;还可以在同一个工作区中制作播客、音乐、图像和影片,所有成果都汇集到同一个媒体库。每个任务在运行前都会显示价格(或预估起价),任务失败时费用会自动退回。
运营人员无需发布新版本即可切换模型、轮换服务商密钥、开启或关闭产品模块,也无需开发人员即可发布营销页面。备份每小时执行一次,其中一份生产环境备份已通过从头到尾完整读取得到验证。
复盘
平台在生产环境中的运行,促成了几次方向调整。每一次都是放弃一个看似稳妥的假设,换来一个更安全的默认做法。
语音。语音最初被刻意固定在单一服务商上,因为换一家服务商就意味着换一种声音。当这家服务商发生故障时,合成出的配音在缺失台词的地方只剩下静音。现在语音会沿着一条服务商链依次回退,所依据的原则是:声音略有不同,也好过一片静默。
内容审核。内容筛查过去在创建项目的流程中同步执行,用户在上传完成后要等待一段时间才能进入项目页面。现在筛查改在后台运行,已完成的结果会停留在“内容审核中”状态,直到审核结束,因此在审核仍在进行时,输出不会被呈现为已就绪。
发布与备份。生产环境部署从自动执行改为人工审批,且只有在预发布环境检查通过后才会开放审批。备份改为每小时一次,最新的一份备份也被从头到尾完整读取过一遍,因为从来没人读过的备份,算不上备份。
我的角色
- 作为首席技术官,定义了Booq的架构:相互独立的服务、每家AI服务商各自独立的网关,以及分别面向客户、管理员和员工、独立部署的三个应用。
- 将平台从第一次代码提交推进到以代码定义的生产容器集群,并设置了以人工审批收尾的发布关卡。
- 负责上线计划中的产品与定价决策(定价活动、许可授权与存储策略),并以包含验证和回滚步骤的结构化项目方式推进上线。
- 以产品负责人身份制定了AI视频工作室的需求,并用本人精心整理的风格合集,为视觉风格工作室搭建了初始风格库。
- 主导AI增强的工程工作流,向编程智能体下达任务说明,让其调研最佳实践、分阶段规划,并经预发布环境交付到生产环境。
工程
服务商会出故障,产品照常运行
每家AI服务商都位于各自的网关之后,并具备自动回退机制;模型和密钥可在管理后台更换,无需重新部署。
为崩溃与弱网而设计
翻译在崩溃后从检查点继续;数GB的大文件在网络不佳时也能断点续传,无需从头开始。
资金处理,处处设防
失败任务自动退款,退款机制可防止重复打款,每笔交易都记入永久账本。
先审核,再标为就绪
图像、视频、音频和文本均在后台接受审核,并提供申诉渠道;已完成的结果会一直保留在待审状态,直到审核完成。
分层访问控制
客户、管理员和员工使用各自独立的应用;各控制台均要求二次验证,并采用基于角色的权限控制。
有监控、经压测、有备份
仪表盘配合按严重级别分派的告警,上线前按通过/不通过阈值进行负载测试,并每小时备份一次,其中一份备份已通过从头到尾的完整读取得到验证。
成果
- 已上线并持续开发中,界面波斯语优先,提供波斯语、英语和阿拉伯语版本。
- 创作者可以在同一个项目中把一段视频转换为多种语言版本,形式可以是字幕、配音或两者兼有。
- 播客、音乐、图像和影片都在同一个工作区中制作,并统一归入同一个媒体库。
- 运营人员无需发布新版本即可切换模型、轮换密钥,以及开启或关闭产品模块。
- 生产环境部署会生成面向客户的版本说明,翻译为波斯语和阿拉伯语,并可由管理员编辑。