OmniGen
定义
OmniGen是一种以扩散方式完成图像生成的模型，其目标是在同一个框架内处理多种与图像相关的任务，而不是为每类任务单独维护一套网络[3]。它的输入可以是自由交错排列的文字与图片，输出为生成的图像，文本到图像、指令式图像编辑、主体驱动生成和视觉条件生成都归入这一输入输出形式中[5]。按照论文的表述，它是面向通用图像生成的一次早期尝试[6]。
在同类工作中，OmniGen与Stable Diffusion一类模型的主要区别在于结构层次。常见做法需要挂接控制网络或适配器来处理多样的控制条件，并在输入前完成人脸检测、姿态估计、裁剪等步骤；OmniGen则把这些环节收进模型内部，由多模态指令直接驱动[2]。研发方将其特点概括为统一性、简洁性和跨任务的知识迁移能力三点[3]。
原理
模型整体只由两部分构成：一个负责图像编解码的变分自编码器，以及一个负责依据条件生成图像的大型Transformer[7]。其中变分自编码器取自SDXL并在训练中冻结，Transformer则以Phi-3的权重初始化，从而承继其文本处理能力[5]。与需要额外文本编码器、图像编码器的扩散模型不同，OmniGen在同一个模型里自行编码条件信息[5]。
文本经Phi-3的分词器切分；图像先由变分自编码器映射到潜空间，再按小块线性嵌入为视觉词元，并用成对的特殊标记包裹后插入文本序列，序列末端附上时间步嵌入[5]。注意力机制上，文本等元素采用因果注意力，同一幅图像内部的图块之间采用双向注意力，使每个图块既能关注同图其他区域，又只能看到此前出现的图文内容[5]。
训练目标采用整流流(rectified flow)，即在噪声与数据之间作直线插值来学习速度场[5]。推理时先采样高斯噪声，用流匹配预测目标速度并迭代若干步得到潜表示，最后由变分自编码器解码为图像，默认迭代步数为50[5]。由于条件部分与语言模型同构，输入条件的键值状态可以像大语言模型那样缓存复用，减少重复计算[5]。
发展历程
2024 年 9 月 17 日，论文《OmniGen: Unified Image Generation》提交预印本平台，随后在 11 月更新第二版[1]。同年 10 月，代码与模型权重相继发布，10 月下旬补充了优化显存占用与耗时的推理代码[2]。
2025 年 6 月，研究团队发布OmniGen2，转向文本与图像两条独立解码路径，采用不共享的参数和分离的图像分词器，使模型可以建立在现有多模态理解模型之上而无需重新适配变分自编码器输入[8]。公开资料显示，该版本由 30 亿参数的视觉语言模型与 40 亿参数的扩散模型组合而成，权重于 6 月 16 日放出[9][10]。同月团队还发布了用于评测上下文生成能力的基准OmniContext，并公布了技术报告[4]。
此外还有研究者在自回归框架下提出OmniGen-AR，通过共享视觉分词器把文本、分割图、深度图、图像上下文等条件纳入单一模型，该工作被第 39 届神经信息处理系统大会收录[11]。
应用
在文本生成图像之外，OmniGen可依据自然语言指令完成图像编辑，其后续版本支持物体增删、颜色调整、人物表情修改与背景替换等局部改动[12]。指令中可以用普通语言指代输入图片里的对象，模型自行识别所需元素，不必先行裁剪或做人脸检测[13]。
主体驱动与身份保持类生成是另一类用途：从输入图像中提取指定元素，再将其置于新的场景中，公开说明提到当前版本对物体相似度的保持好于对人脸相似度的保持[14]。由于任务被统一为图文序列到图像的映射，用户可以用自有数据微调模型来新增功能，而不必为每类任务单独设计网络结构[2]。也有资料提到文本到图像、图像编辑之外，视觉条件生成与虚拟试穿、图像修复等场景可依托该框架实现[15]。
局限
统一架构并不必然在每个单项任务上占优。有分析指出，与针对单一任务专门设计的模型相比，OmniGen在特定任务上的表现可能存在差距，因为同一模型需要在多个目标之间权衡[15]。论文笔记同样提到，在边缘检测这类条件控制上，它可能不及专门设计的控制网络方案[7]。
生成质量方面也存在短板。相关工作记录显示，模型对长文本的渲染不够准确，输出中可能出现异常的细节如手部形态问题，对训练中未见的图像类型处理效果不佳[16]。此外，模型参数量较大，推理成本高于专用模型，训练则依赖大规模数据与算力，论文笔记提到其训练使用了104块A800显卡[7]。
评测层面也有缺口。团队说明，图像上下文参考生成长期缺少完善的公共基准，既有基准在覆盖多输入图像场景与任务类型方面不足，这也是OmniContext被提出的直接原因[14][4]。另有实测说明提到，OmniGen2在英语提示下的表现优于中文[17]。
参见
-
扩散模型 —— OmniGen所属的生成模型类别，其图像生成过程基于扩散与流匹配。
-
Transformer —— OmniGen的主干网络结构，承担条件编码与去噪预测。
-
变分自编码器 —— 负责图像潜空间编解码的组件，模型训练中保持冻结。
-
ControlNet —— 常见的条件控制附加网络，OmniGen试图以统一架构替代此类插件。
-
Stable Diffusion —— 需要额外控制模块与预处理步骤的代表性文生图模型，常被用作对照。
参考资料
- OmniGen: Unified Image Generation [引用日期2026-10-29]
- OmniGen: Unified Image Generation [引用日期2026-10-29]
- Xiao_OmniGen_Unified_Image_Generation_CVPR_2025_paper [引用日期2026-10-29]
- OmniGen2/OmniGen2 · Hugging Face [引用日期2026-10-29]
- OmniGen: Unified Image Generation [引用日期2026-10-29]
- CVPR Poster OmniGen: Unified Image Generation [引用日期2026-10-29]
- [论文解读] OmniGen: Unified Image Generation [引用日期2026-10-29]
- OmniGen2: Exploration to Advanced Multimodal Generation [引用日期2026-10-29]
- README [引用日期2026-10-29]
- 从文本生成到指令编辑 OmniGen2重塑开源多模态模型应用场景 [引用日期2026-10-29]
- acm.org 上的网页 [引用日期2026-10-29]
- 爆火！智源OmniGen2重磅升级 [引用日期2026-10-29]
- {"info":{"author":null,"author_email":"2906698981@qq [引用日期2026-10-29]
- OmniGen2重磅升级，统一图像生成再进化 [引用日期2026-10-29]
- 一个模型走天下！智源提出全新扩散架构OmniGen，AI生图进入一键生成时代 [引用日期2026-10-29]
- OmniGen2模型论文速读：统一的图像生成 [引用日期2026-10-29]
- ComfyUI-OmniGen2 [引用日期2026-10-29]