Ten Agent
Ten Agent(TEN Agent)是一个建立在 TEN Framework(Transformative Extensions Network,可译为「变革性扩展网络」)之上的开源对话式人工智能代理项目,由实时音视频技术服务商声网(Agora)及其开发者社区推动。它把大语言模型与语音识别、语音合成、实时音视频传输等模块拼接成可以听、看、说的实时多模态助手,并能与 Dify、Coze 等工作流平台对接,常用于语音助手、智能客服等场景。
定义
Ten Agent 是一个由 TEN Framework 驱动的对话式人工智能代理,属于开源项目。它把大语言模型与实时音频、视频处理能力结合在一起,使机器能够同时输出听觉、视觉和语音层面的响应,并与人进行多模态交流[1]。所用框架 TEN 的全称是 Transformative Extensions Network,面向实时对话类人工智能应用的开发。
在项目定位上,Ten Agent 与底层框架分工不同:TEN Framework 提供运行时和扩展机制,Ten Agent 则是建立其上的示例与集成集合,用来展示如何把语音识别、语言模型、语音合成和实时传输等模块串成完整可用的助手[2]。项目采用模块化结构,代码按扩展切分,通过配置文件编排,不必改动源码即可调整行为[3]。
原理
Ten Agent 的运行核心是「图」(graph)式配置。主运行配置文件集中描述三部分内容:图本身、图中的节点以及节点之间的连接;每个节点对应一个扩展实例,并带有自己的运行参数,同一扩展可以在同一张图里出现多个实例,以不同参数并行工作[3]。连接部分规定数据在节点之间如何流动,可传输的数据类型包括音频帧、视频帧、普通数据和命令[3]。
在标准语音链路中,实时传输扩展负责收发音视频,语音识别扩展把语音转成文字,语言模型扩展生成回应,语音合成扩展再把文字变为语音,结果经传输通道回送用户;另一条实时接口链路则直接对接具备语音到语音能力的实时接口服务,并由语音合成扩展承担后备合成[4]。系统在通信上采用控制与媒体分离的方式:代理的启动、停止、配置更新和状态查询走 HTTP,音频流、视频流与低延迟信令走 WebRTC,从而在调整配置时不打断正在进行的实时流[4]。
整套体系大致分为三层:客户端层负责前端交互,服务层负责编排与进程管理,扩展层提供各项人工智能能力;扩展之间通过消息传递机制通信,因此处理管线可以灵活拼装[4]。框架本身还支持把部署在边缘设备与云端的扩展组合起来,对隐私敏感的任务在本地用小模型处理,复杂推理则交给云端大模型。
发展历程
TEN Framework 于 2024 年开源,此后被用于 AI 陪伴、语言翻译、客服机器人和互动学习等场景;框架支持全双工音频流传输,延迟可至毫秒级,并保持对各厂商模型与服务的中立接入[5]。有第三方产品资料把 2024 年 8 月的开发者活动、2024 年 10 月面向 OpenAI 实时接口的体验版、2024 年 12 月的多模态框架发布列为项目节点[6]。
2024 年 12 月起,Ten Agent 增加了对 Coze 平台机器人的接入,使用者填写机器人标识与接口令牌即可让已有的对话机器人获得语音交互能力,国内与国际版本分别对应不同的扣子平台。同年 12 月前后的代码提交记录显示,项目在此期间完成了代理目录拆分、界面更新和针对 Gemini 的并发限制等改动[7]。
2025 年 5 月,声网与 RTE 开发者社区共同支持开源了两款模型:TEN VAD(语音活动检测)和 TEN Turn Detection(轮次检测)。两者均可作为 TEN Framework 的插件使用,也可与 Ten Agent 搭配[8]。同年前后,框架侧还陆续提供了超过 10 个开源语音代理模板,涵盖通用助手、转写和 SIP 电话接入等用途[5]。
应用
项目仓库列出的示例覆盖多种用途:支持实时传输与 WebSocket 两种连接方式的多用途语音助手、把口述或文字提示转为简笔画的涂鸦板、实时区分并标注说话人的说话人分离、配合多个虚拟形象厂商的口型同步数字人、通过 SIP 扩展实现的电话通话、音频转写工具,以及可运行在乐鑫 ESP32-S3 Korvo V3 开发板上的硬件示例[2]。这些示例说明同一套编排可以迁移到网页、移动端和嵌入式设备[9]。
在与工作流平台配合方面,Ten Agent 兼容 Dify 与 Coze,使用者把已搭建好的机器人接口凭据填入后,即可为其增加实时语音通道[1]。项目还提供名为 Playground 的网页界面,用户可以从中选择图类型与模块、为扩展填写接口密钥、挂载天气查询或网络搜索等工具,并在不写代码的情况下测试代理行为;定制完成的配置可以打包成容器镜像部署[9]。
亚马逊云科技的方案文档给出了一个组合实例:以 Ten Agent 作为插件编排核心,接入 Amazon Transcribe 做实时语音识别、Amazon Polly 生成语音、Amazon Bedrock 上的 Nova 模型做多模态推理,并通过实时网络传输音视频。此外,多模态示例还包含一边讲故事一边生成配图的用法,以及借助相机输入的实时视觉识别[10]。
局限
Ten Agent 本身不提供模型能力,语音识别、语言模型、语音合成等都需要接入第三方服务并配置相应凭据,使用前通常要准备实时通信平台的 App ID 与证书、语言模型的接口密钥,以及语音识别与合成服务的密钥[11]。本地运行的入门门槛也不为零:官方给出的最低配置为 2 核以上处理器、4 GB 以上内存,并需要 Docker、Docker Compose 与 Node.js 环境[9]。
由于依赖外部服务,系统的时延与稳定性同时受模型接口与传输网络影响,并会产生按调用计费的成本;声网方面也以降低成本、减少无效音频送入识别流程为 TEN VAD 的设计目标之一[12]。在交互层面,轮次判断仍是难点:模型需要区分句中的短暂停顿与发言结束,判断过早或过晚都会让人机对话显得不自然,而这类判断又高度依赖语音活动检测的可靠性[12]。
此外,项目迭代较快,仓库结构在 2024 年末曾经历拆分,早期文档与示例中的路径名称和新版本并不一致,不同版本的说明需要对照各自对应的代码分支[11]。
参见
参考资料
- TEN Agent Core concepts | Agora Docs [引用日期2026-10-29]
- main [引用日期2026-10-29]
- Project overview | Agora Docs [引用日期2026-10-29]
- TEN Agent Architecture | Agora Docs [引用日期2026-10-29]
- opensourceforu.com 上的网页 [引用日期2026-10-29]
- 首页 > AI产品库 > TEN Agent [引用日期2026-10-29]
- TEN-Agent [引用日期2026-10-29]
- 声网、RTE开发者社区共同支持两款新模型开源，让Voice Agent 对话更拟人 [引用日期2026-10-29]
- The Easiest Way to Create Real-Time AI Voice Agents [引用日期2026-10-29]
- TEN-Agent [引用日期2026-10-29]
- TenAgent [引用日期2026-10-29]
- agora.io 上的网页 [引用日期2026-10-29]