腾讯混元

定义

腾讯混元是腾讯自主研发的通用大语言模型，涵盖从百亿到万亿级参数的不同版本，并通过云服务接口和自有产品向企业及个人用户提供文本生成、问答、代码编写等能力^[1]。按照腾讯的表述，该模型从第一个 token 起即从零训练，模型算法、机器学习框架与人工智能基础设施均为自研。

在腾讯云的产品体系中，混元按参数规模和用途分为多个规格，例如万亿参数的 hunyuan-pro、千亿参数的 hunyuan-standard 和百亿参数的 hunyuan-lite，其中 hunyuan-standard 具备 256K 上下文理解能力^[4]。除语言模型外，同一名称下还包含文生图、文生视频、3D 生成等多模态模型，构成完整的模型矩阵^[5]。

原理

混元以 Transformer 为基础架构，2024 年初由稠密(Dense)结构升级为混合专家(MoE)结构，并把参数规模扩展至万亿级^[2]。MoE 的思路是把输入分配给最擅长处理该类内容的若干专家网络，其余专家处于待命状态，因此模型总参数可以很大，而单次推理实际激活的参数较小，从而降低训练与推理开销^[2]。

以 2024 年 11 月开源的 Hunyuan-Large 为例，其总参数为 3890 亿，激活参数为 520 亿，可处理最长 256K 的文本序列^[6]。腾讯在训练中还使用了合成数据，Hunyuan-Large 的 7 万亿 tokens 语料中有 1.5 万亿来自合成数据^[2]。

在可靠性方面，腾讯针对模型编造内容的问题优化了预训练算法与策略，使混元的幻觉比例较当时主流开源模型低 30% 至 50%，并通过强化学习让模型识别并拒答陷阱问题。自研机器学习框架 Angel 使训练速度较当时业界主流框架提升 1 倍，推理速度提升 1.3 倍^[1]。

发展历程

腾讯在大模型上的积累早于混元发布。2021 年起，腾讯先后推出千亿和万亿参数的 NLP 稀疏大模型，并在 CLUE 榜单上取得成绩^[1]。2023 年 9 月 7 日，混元大模型在 2023 腾讯全球数字生态大会上正式亮相，宣布通过腾讯云对外开放，当时已有超过 50 个腾讯业务和产品接入测试^[1]。

2024 年，混元完成架构升级并加快产品化。4 月起各版本更名为 hunyuan-pro、hunyuan-standard 等；5 月 30 日，基于混元的大模型应用腾讯元宝上线，苹果与安卓应用商店均可下载^[7]。同年 5 月混元文生图模型开源，11 月开源 MoE 语言模型 Hunyuan-Large 与 3D 生成模型 Hunyuan3D-1.0，12 月上线并开源 130 亿参数的文生视频模型^[8]。

2025 年至 2026 年，腾讯多次调整混元相关的组织架构。2025 年 4 月，腾讯在技术工程事业群内分设大语言模型部与多模态模型部；2026 年 3 月撤销 AI Lab，部分人员转入混元团队；2026 年 7 月，两个模型部门合并为基础模型部，由腾讯首席 AI 科学家姚顺雨统一管理^[9]。

2026 年 4 月 23 日，腾讯发布并开源混元 Hy3 preview，这是混元完成全链路重建后训练的第一个模型，总参数 295B、激活参数 21B，支持 256K 上下文^[10]。同年 7 月，正式版 Hy3 上线，腾讯称其推理效率提升约 40%，幻觉率由 12.5% 降至 5.4%^[9]。

应用

混元最早作为腾讯云模型即服务的底座对外提供服务，客户既可调用接口，也可将其作为基础模型开发面向具体行业的应用^[1]。在腾讯内部，混元被接入社交、办公、广告与游戏等多条业务线。2024 年 5 月时，腾讯内部已有超过 600 个业务及场景接入混元，广告、微信读书、腾讯会议、腾讯文档、客服等产品据此完成智能化改造^[3]。

面向个人用户的产品是腾讯元宝。该应用提供 AI 搜索、文档与网页总结、AI 写作等功能，接入了微信搜一搜等搜索引擎，并支持上传多个文档及 256K 窗口的上下文处理^[7]。腾讯还推出智能体创作与分发平台腾讯元器，用户可创建智能体并分发至元宝、微信客服、QQ 等渠道^[7]。

在办公与开发场景，混元支撑了 AI 代码助手 CodeBuddy 和桌面智能体工具 WorkBuddy 等产品。腾讯披露，Hy3 发布一周后总调用量较上一代模型增长逾 68 倍^[5]。多模态方向上，混元图像、视频与 3D 生成模型被用于游戏资产、图片视频创作等环节，其 3D 系列模型的社区下载量超过 300 万^[5]。

局限

混元的能力边界首先体现在知识时效与实时信息获取上。这类模型依赖训练语料，无法自行取得训练截止之后的数据，涉及实时行情、榜单等问题时需要借助搜索插件或外部工具^[11]。腾讯在发布初期即把降低幻觉列为重点，也从侧面说明生成内容仍需核查。

参数规模并未无限扩张。腾讯在 Hy3 preview 上认为约 300B 是能力与效率的平衡区间，复杂推理、长上下文等能力在该量级已较充分，继续扩大参数的边际收益递减^[12]。

多模态能力的整合方式也构成一项结构性的限制。与把文本、图像、音频整合进同一基础模型的路线不同，Hy3 主要承担文本推理与智能体任务，图像、视频与 3D 能力由不同专用模型分别完成，再通过智能体或产品流程协作^[9]。此外，腾讯在 MoE 架构下需要反复权衡专家数量、激活参数量与训练数据量之间的关系，这类调参本身带来额外复杂度^[2]。

参见

• 腾讯元宝 —— 基于混元大模型打造的面向个人用户的 AI 助手应用。

• 混合专家模型 —— 混元自 2024 年起采用并沿用至今的模型架构。

• 腾讯云 —— 混元对外提供接口调用与行业解决方案的云平台。

• 大语言模型 —— 混元所属的技术类别与研究方向。

• 腾讯 —— 混元的研发主体。