Sync Labs

定义

Sync Labs 是一家研究驱动的人工智能视频技术公司，正式注册名称为 Synchronicity Labs Inc.，总部设在美国旧金山^[1]。它对外提供两类东西：一是自研的生成式口型同步模型，二是把这些模型托管为可直接调用的云端接口，供开发者和企业在自己的产品中集成^[4]。

公司的技术目标被概括为「理解并操控视频中的人」：给定一段视频和一段新音频，模型重新生成画面中人物的嘴部动作，使口型与新语音在时间上对应^[5]。由于模型不依赖针对特定人物的训练，同一套系统可以处理真人、动画角色和人工智能生成的虚拟人脸^[6]。

原理

口型同步的基本单位是音素与视素的对应关系。音素是语音的最小单位，视素是发出该音时嘴部呈现的形状，模型通过学习两者之间的映射来预测每一帧应当出现哪种口型^[7]。这种映射与具体语种无关，因此同一模型可以处理任意语言的音轨，视频中人物的原始语言和配音语言不必一致。

早期方案采用多阶段流水线：先做人脸检测与对齐，再逐帧修改嘴部区域，各阶段的误差会沿管线累积，导致画质衰减^[8]。Sync Labs 后来的模型改为端到端的单体结构，在一次前向计算中完成从音频到嘴部动作的生成，以减少中间环节带来的质量损失^[8]。

Zero-shot（零样本）是其关键特性：使用时不需要为特定说话人收集训练数据或做微调，上传视频与音频即可生成结果^[8]。在此基础上，lipsync-2 引入了风格保持能力，通过时序 Transformer 把输入视频中人物的不同嘴型编码成一个风格表示，再以目标语音和该风格表示为条件合成新的口型动作，从而保留说话者原有的说话方式、皮肤纹理等个体特征^[6]。

对于包含多个说话者的长视频，系统内置主动说话者检测流程，把不同声音与不同人脸对应起来，仅在检测到某人正在讲话时施加口型编辑^[6]。当视频与音频长度不一致时，模型提供多种同步模式，包括循环播放较短一方、反向来回播放、裁剪较长一方、以静音填充以及时间重映射^[8]。

发展历程

技术源头可追溯到 IIIT Hyderabad 的视觉信息技术中心。2018 年起，Prajwal K R 与 Rudrabha Mukhopadhyay 在此合作研究把视频中的口型同步到任意语音，成果为开源模型 Wav2Lip，相关论文发表于 2020 年的 ACM Multimedia 会议^[1]。该模型无需针对每位说话人微调即可匹配任意语言音频，其开源仓库在 GitHub 上获得超过 1 万颗星^[7]。

2023 年，产品负责人 Prady Modukuru 与连续创业者 Pavan Reddy 全职投入创办公司，Prajwal 与 Rudrabha 在完成博士学位后加入，四人组成创始团队^[1]。团队最初在 IIIT Hyderabad 的创新与创业中心设立印度实体，随后在美国注册成立公司^[1]。

公司入选 Y Combinator 2024 年冬季批次^[9]，并于 2024 年 8 月完成 550 万美元种子轮融资，由 Google Ventures 领投，Y Combinator、Creator Ventures、Rebel Fund 等参与^[3]。此后公司陆续推出 lipsync-1.9、lipsync-2、lipsync-2-pro、react-1 和 sync-3 等模型，其中 sync-3 支持原生 4K 输出，并能处理侧面角度、低光照和快速运动等画面条件^[10]。

应用

视频译制是最主要的应用方向。用户提供目标语言的配音音轨，模型生成与新音频吻合的口型，使译制后的画面不再出现唇形与台词错位^[10]。公司提供与语音合成服务的集成流程，可在一次接口调用中完成文本转语音与口型同步，也允许用户自备已翻译的音频^[10]。

在电子学习与培训场景中，讲师只需录制一次课程，即可生成多种语言的版本，受训者看到的口型与译文一致，无需为每种语言重新拍摄或另聘配音演员^[10]。营销与外联场景则把一段通用视频与按对象定制的语音结合，用一条素材批量产出大量个性化视频^[10]。

影视后期与游戏动画方面，该技术可用于替换对白、免除重新召集演员进行自动对白替换录音的环节，也可为游戏角色和动画内容生成与文本或音频对应的口型^[10]。开发者侧，公司提供 Python 与 TypeScript 软件开发工具包、批量处理接口和状态回调机制，单次批处理最多可提交 500 个生成任务^[2]。据基础设施服务商披露，该平台每天处理的口型同步视频超过 100 小时^[5]。

局限

该技术面向的是对既有视频中真人面部的口型修改，并非从零生成虚拟形象。官方文档说明，产品不用于从头构建人工智能头像，其定位是让出镜者看起来说出新的台词^[10]。

生成质量对输入素材较为敏感。画面方面，光线充足的面部特写效果最可靠，应避免大幅转头或人脸部分移出画面；音频方面，清晰的语音与尽量少的背景噪声有助于提高同步准确度；做译制时，译文的断句与停顿还需大致贴合原始表演的节奏^[8]。

输出规格与使用规模也受方案与计费档位制约。视频时长上限依订阅方案而定，最长约 30 分钟；人脸分辨率在不同模型间存在差异，部分模型为 512×512，sync-3 支持原生 4K^[2]。免费试用额度为每月 3 次生成，单次最长 20 秒^[2]。

与开源前身不同，Wav2Lip 的代码与权重仅限研究、学术和个人用途，其训练所用数据集不允许商业使用，商业需求需另行联系作者^[11]。

参见

• Wav2Lip —— Sync Labs 创始团队在此开源模型的基础上开展研究，并由此创办公司。

• 口型同步 —— 该公司的核心技术方向，即让画面中人物的唇形与给定音频对齐。

• 视频配音 —— 口型同步技术最主要的应用场景，用于把影视和视频内容译制成其他语言。

• 语音合成 —— 常与口型同步组合使用，先由文本生成目标语言语音，再据此重绘口型。

• Y Combinator —— Sync Labs 于 2024 年入选该创业加速器的冬季批次。

• Google Ventures —— 领投 Sync Labs 550 万美元种子轮融资的投资机构。