HunyuanDiT

定义

HunyuanDiT是一种文本到图像的生成模型，属于扩散模型（diffusion model）的一支，其网络骨干采用Transformer而非早期视觉扩散模型常用的U-Net结构，因此被归入DiT（Diffusion Transformer）架构。在腾讯内部，它对应的产品名为混元文生图大模型，开源项目名称则为HunyuanDiT^[1]。

该模型由腾讯混元团队完成，论文标题为《Hunyuan-DiT: A Powerful Multi-Resolution Diffusion Transformer with Fine-Grained Chinese Understanding》，于2024年5月14日提交至预印本平台 arXiv^[2]。论文所述模型参数量为15亿，官方仓库同时提供1.0、1.1、1.2三个版本的权重，均为1.5B规模^[3]。

原理

HunyuanDiT工作在潜空间上。模型沿用潜扩散模型（Latent Diffusion Model）的思路，先用预先训练的变分自编码器（VAE）把图像压缩到低维潜空间，再在该空间中训练扩散模型拟合数据分布，图像的重建与解码则交回VAE完成。官方在VAE部分采用的是sdxl-vae-fp16-fix，参数量约8300万^[3]。

文本编码由两套模型分工完成：一套是双语（中英文）CLIP编码器，另一套是多语言T5编码器，两者输出被组合后送入扩散骨干。论文指出，单独使用T5或单独使用CLIP都各有侧重，两者融合有助于兼顾语义准确度与生成多样性^[4]。仓库中mT5与CLIP的参数量分别标注为16亿和3.5亿^[5]。

骨干网络由若干Transformer编码块和解码块组成。解码块内设有跳跃模块，把编码阶段的特征引入解码阶段，作用类似U-Net中的长跳跃连接；由于整体结构是Transformer，模型中没有上采样与下采样模块。序列处理完毕后，词元被重新排布以还原二维空间结构。训练目标上，团队采用v-prediction，实验显示其效果优于其他参数化方式^[4]。

位置编码使用旋转位置编码（RoPE），并扩展到二维形式以同时表达绝对位置与相对位置关系。为使同一模型适应不同分辨率，团队采用中心化插值位置编码，让不同长宽比的图像在计算位置编码时落在相同的区间内，从而加快收敛并改善向新分辨率的泛化^[4]。训练稳定性方面引入了QK-Norm、解码块跳跃模块之后的层归一化，并把易在FP16下溢出的算子改为FP32计算^[4]。

数据侧，团队自建了完整流水线：先通过外部采购、公开数据下载和授权合作数据获取图文对，再以十余项打标能力（清晰度、美学、水印、分类、描述等）评估数据，最后按铜、银、金三级分层，分别用于训练基础CLIP、生成模型和高品质数据的精调。为提升细粒度语言理解，团队还训练多模态大语言模型重写图像描述^[4]。

发展历程

2024年5月14日，腾讯宣布混元文生图大模型升级并对外开源，在Hugging Face与GitHub发布模型权重、推理代码和算法，允许企业与个人开发者免费商用。同日，对应论文提交至arXiv，给出了模型的架构与评测细节^[2]。

2024年6月，官方密集发布配套能力。6月6日推出蒸馏加速版本，在NVIDIA GPU上实现约50%的加速，并接入ComfyUI；6月13日发布v1.1版本，缓解画面过饱和并减轻水印问题，同时公开全参数训练与LoRA训练代码；6月19日发布ControlNet，支持canny、pose、depth三种控制条件。据腾讯方面披露，其专属加速库可将生图时间缩短75%^[6]。

2024年6月27日，面向训练数据的打标模型混元Captioner开源，提供细粒度图文描述生成能力。7月8日，v1.2版本发布，官方称在画面质感与构图上有所改善，同时提供对应的蒸馏版本；7月3日起v1.1与v1.2模型可在Kohya图形界面下训练LoRA。

同期推出的轻量方案把运行门槛降到单卡6GB显存。官方通过8位加载T5文本编码器等方式压缩显存占用，使模型可在显存较小的消费级显卡上推理，并与LoRA、ControlNet一同适配到Diffusers库。据腾讯披露，开源不到两个月，项目在GitHub上的Star数已超过2.6k^[6]。

应用

模型的主要用途是依据中英文提示词生成图像，官方示例涵盖自然语言描述的场景与风格，如赛博朋克风格的跑车、穿西装的猪等。除单轮生成外，模型支持多轮多模态对话，用户可在已生成图像的基础上用自然语言继续调整，由训练过的多模态大语言模型把对话整理为新的生成提示^[4]。

借助ControlNet插件，模型可接受边缘、深度、人体姿势、线稿等额外条件，用于建筑效果图生成、手稿上色、高清放大、局部重绘与扩图等任务^[1]。官方披露，这些插件组合后可覆盖美术、创意、建筑、摄影、美妆、电商等场景^[1]。

在腾讯内部，混元文生图自2023年起与广告业务有过协作，后续计划与QQ、企业微信、QQ音乐及游戏业务在美术资产等方向开展技术合作。开发者侧则可通过Diffusers、ComfyUI、Gradio演示界面等途径调用模型，或使用Kohya、LoRA在自有数据上微调。

局限

官方评测的对手主要是开源模型。论文组织了50余名专业评测人员，从文本—图像一致性、AI痕迹、主体清晰度、美学四个维度打分，结论是模型在中文到图像生成上优于其他开源模型，在主体清晰度与美学方面接近DALL-E 3、Midjourney v6等闭源模型，但并未宣称整体超越这些闭源系统^[4]。

显存需求偏高是早期版本的明显约束。官方说明单跑Hunyuan-DiT在A100上需约11GB显存，在RTX3090或RTX4090上约14GB；若连同DialogGen提示增强模型一起运行，A100上需32GB，启用4位加载后仍需22GB^[7]。这也解释了6GB小显存版本为何以额外优化和8位加载为前提。

推理速度同样需要借助外部手段改善。以80GB显存的A100为例，未编译时平均单次推理约20.57秒，使用torch.compile后可降至约12.47秒；此外还可通过前馈分块等手段在显存与耗时之间取舍。v1.0版本存在画面过饱和与水印问题，官方在v1.1中才着手缓解。

文本输入长度也有限制。据公开报道，模型优化后的长文本理解能力最多支持256个字符的输入。此外，作为以中英文为目标的模型，其多语言覆盖范围限于中英双语，其他语种不在官方支持范围内。

参见

• Diffusion Transformer —— 本词条所采用的基础架构。

• 潜扩散模型 —— 在低维潜空间中执行扩散过程的生成框架。

• ControlNet —— 为文生图模型添加额外空间条件的可控生成插件。

• LoRA —— 用于低成本微调扩散模型的低秩适配方法。

• CLIP —— 提供图文对齐能力的文本编码器之一。

• 腾讯混元 —— 本模型所属的大模型系列。