Viitor AI

定义

Viitor AI 是一个提供 AI 声音克隆、视频翻译、语音合成等功能的综合性 AI 创作平台,由北京云上曲率科技有限公司开发。它把语音识别、跨语言翻译、配音生成、字幕处理与画面优化等环节集中到同一套工作流中,面向内容创作、跨境沟通、教育培训与企业级多语言场景^[1]。

该平台的产品形态包括手机应用与网页工作台,手机端应用包名为 com.ilivedata.viitor,由北京云上曲率科技有限公司担任开发者与运营者^[2]。平台同一公司旗下另有名为「ViiTor 实时翻译」的实时沟通工具,侧重同声传译、实时转写、悬浮字幕与相机翻译等场景^[3]。

原理

在语音生成方面,平台的自研 TTS 引擎以较短音频样本作为提示,采用多阶段流程把文本与提示音转换为语音:先生成语义 token,再据此预测声学 token,最后将声学 token 还原为波形^[4]。据其公开的模型说明,该方案不依赖提示文本转写,并使用 InfoNCE 与条件编码器作为相似度约束,在背景嘈杂的提示音频下仍能保持稳定^[4]。

时长控制在 LLM 主干内完成,可按时长约 0.5 秒的精度强制设定;情绪与风格通过 LoRA 适配器调节,无需全量微调^[4]。其后继的非自回归版本 ViiTorVoice-NAR 由若干可独立加载的部件组成:LLM 依据文本、提示语音 token、编辑掩码、时长条件与情感标签生成目标语音 token,DualCodec 负责波形与离散码本 token 的双向转换,W2V-BERT 2.0 提取语义语音特征,Qwen3 强制对齐器为局部编辑提供时间戳,该路径可实现约 60 毫秒的首帧延迟^[5]。

在视频翻译方面,平台采用端到端翻译引擎完成多语言互译与识别,并具备语音转写功能。译制过程先分析原始视频中声音的变化并按说话人分段,再向不同角色分配音色轨道,随后生成配音并同步字幕与时间轴;口型对齐环节使用动态语义补偿技术处理不同语系的唇形匹配^[6]。其翻译算法结合上下文理解技术,以提升多义与专业表述的准确度。

发展历程

2024 年 5 月 16 日,软件「云上曲率 ViiTor AI 软件(Android 版)」首次发表;同年 7 月 9 日,该软件著作权登记获得批准。2025 年 4 月 14 日,平台发布 4.0 版本,该版本实现了基于 3 秒音频样本的零样本情感声纹克隆与低延迟 TTS 引擎,并宣布将 TTS 模型 ViiTor-Voice 开源^[7]。据其开源仓库说明,该模型为 0.5B 参数规模,最初支持中文与英文,采用仅解码器架构以支持零样本克隆^[8]。

2025 年 11 月 13 日,平台安卓版更新至 v2.6.7 版本。2026 年 1 月 17 日,平台发布 1.0.12 版本,新增 AI 创作与多角色配音情感配置等功能。同期,实时翻译应用持续迭代,2026 年 2 月至 4 月间多次更新版本号^[2]。

2026 年 5 月,其开发方对外发布四大核心产品矩阵,除 ViiTor AI 外还包含覆盖同声传译、实时转写、悬浮字幕与相机翻译的实时沟通工具,官方披露其端到端实时翻译延迟可低至 100 毫秒^[3]。

应用

视频翻译与多语言配音是平台的主要用途,适用于短视频多语言版本制作、短剧与漫剧出海、影视解说、在线课程以及跨境电商视频等场景^[9]。译制完成后,用户可对单句译文、字幕与时间轴进行调整并重新生成对应片段,无需重制整段音频^[6]。

在语音相关场景中,平台可用于角色配音、旁白解说与有声内容制作,使用克隆音色时可在多种语言之间保持相对统一的声音风格^[9]。平台另提供图像驱动说话视频、剧本配音合成、AI 擦除去水印与去字幕、背景音乐分离等功能,用于素材的二次加工^[10]。

实时翻译方向则面向跨国会议、跨境直播、全球客服与在线教育等交流场景,提供语音识别转写、对话翻译、TTS 播放、相机翻译与屏幕悬浮字幕等能力^[2]。官方披露其核心技术已覆盖 20 余种语言,相关技术累计获得数十项专利与软件著作权^[3]。

局限

说话人识别在多角色场景下存在边界。当角色快速轮流发言、不同角色声音相近、多人同时说话、说话人未出现在画面中或背景声音较强时,平台建议由人工复核角色与台词的对应关系,而非假定自动结果完全正确^[6]。翻译长度也受画面节奏约束,同一语义在不同语言中的表达长度差异较大,译后台词过长时需要精简或调整该片段的语速^[6]。

语言覆盖存在上限。平台公开的支持语种数量在不同时期的说明中为 18 种或 19 种,后续仍处于扩展过程中。其开源模型最初仅支持中文与英文,日语、韩语、粤语等语言权重在开源说明中列入待办事项^[4]。

声音克隆功能受授权范围限制。平台说明只有在声音属于本人、已获说话人许可或依法拥有相应使用权时才可使用该功能,并明确不应用于未经授权、具有欺骗性或容易造成误导的内容^[6]。此外,模型方案本身也提示,时长提示值设置极端可能导致生成音频异常,且模型权重遵循非商业性许可,商用需另行确认授权条款^[8]。

参见

• 文本转语音 —— Viitor AI 的核心能力之一,将文字转换为自然人声。

• 声音克隆 —— 平台依据短音频样本复刻音色的技术方向。

• 语音识别 —— 视频翻译与实时转写流程的前置环节。

• 机器翻译 —— 平台多语言互译所依托的技术领域。

• 口型同步 —— 视频翻译中使配音与人物唇动对齐的处理步骤。

• 大语言模型 —— 其开源 TTS 引擎主干所采用的模型架构。