CogView3

定义

CogView3是一个文本到图像扩散模型，其核心结构是级联式生成流程，也就是先出低分辨率草图、再做超分辨率放大的两段式或三段式管线^[1]。它属于智谱AI的CogView系列，与该系列的早期版本不同，CogView3不再采用VQ-VAE与Transformer组合的路线，而改用扩散模型加级联框架。按论文表述，它是文本到图像领域第一个落地中继扩散（relay diffusion）的系统^[3]。

模型规模方面，基础阶段的骨干网络是参数量约30亿的三段式UNet，在变分自编码器压缩后的潜在空间中运算，文本编码器采用预训练的T5-XXL，训练扩散模型时该编码器保持冻结；文本输入长度上限设为225个词元，以便容纳改写后变长的提示词^[4]。该模型的权重与代码以Apache 2.0协议公开^[5]。

原理

中继扩散要解决的问题是分辨率与噪声水平之间的错配。研究团队用离散余弦变换分析发现，同样的噪声强度放到更高分辨率上，在频域会对应更高的信噪比，低频信息因此没有被充分破坏，扩散过程难以直接在更高分辨率上重启^[6]。中继扩散的做法是把上一阶段的输出先上采样成带模糊的高分辨率图像，再叠加具有空间相关性的块状噪声，使前向过程的终态与这张模糊图像对齐，于是下一阶段可以从模糊图而非纯高斯噪声起步继续去噪^[7]。

CogView3在这一框架上做了改造：原始中继扩散在像素层面运算，而CogView3把过程搬进潜在空间，并用简化的线性变换替代原本按图像块施加的模糊操作，同时配套设计了相应的采样器^[8]。基础阶段按标准扩散生成512×512图像，中继超分辨率阶段对其加噪后从中间时刻恢复采样，每次放大2倍；重复调用该阶段即可把结果推到2048×2048^[2]。由于超分辨率阶段只在中继起点接收低分辨率信息，省去了每一步都以低分辨率结果为条件的做法，也不必依赖条件增强等技巧，还有机会修正上一阶段留下的伪影^[8]。

训练上，基础阶段先在256×256分辨率上训练60万步，再在512×512上训练20万步，随后用高审美内部数据集微调1万步；超分辨率阶段则在512×512预训练模型基础上以1024×1024训练10万步，再用中继超分辨率的目标微调2万步^[9]。文本侧的处理分两步：先用GPT-4V自动生成约7万组图像重描述样本，据此微调CogVLM-17B得到重描述模型并重写整个训练集；推理前再由语言模型扩写用户提示词，以缩小训练与使用时的描述长度落差^[4]。蒸馏方面，团队把渐进式蒸馏与中继框架结合，将采样步数分配为基础阶段8步、超分辨率阶段2步，甚至压缩到4步与1步^[9]。

发展历程

CogView系列自2021年起持续迭代，与OpenAI的DALL·E系列发布时间接近。2023年9月，清华大学与智谱AI的研究人员公开了中继扩散模型（Relay Diffusion Model）的预印本论文，提出用模糊扩散与块状噪声实现跨分辨率的无缝衔接，为后续的CogView3打下方法基础^[6]。

2024年3月，CogView3的论文以预印本形式发布，提出在文生图任务上应用潜在空间的中继扩散，并给出与SDXL、Stable Cascade、DALL·E 3的对比结果^[4]。该论文随后被ECCV 2024（欧洲计算机视觉会议）收录，刊于会议论文集^[3]。

2024年9月29日，智谱在ECCV大会上开源了CogView3与CogView3-Plus-3B的代码和权重^[10]。同年10月，智谱对外宣布开源消息，并说明相关能力已接入智谱清言应用；10月11日前后完成CogView3-Plus-3B的Diffusers版本适配，10月中旬该版本在Diffusers中开源^[11][12]。

作为系列的延伸，CogView3-Plus在CogView3基础上换用DiT框架，采用Zero-SNR噪声调度与文本—图像联合注意力，并使用潜在维度为16的VAE，借助混合分辨率训练支持512至2048像素区间的出图^[2]。

应用

CogView3的直接用途是按文本提示生成图像，迭代中继超分辨率使其能输出2048×2048这一级别的大图，可用于需要较高分辨率的插画与视觉素材制作^[4]。该系列模型的能力已集成到智谱清言（ChatGLM）中供在线调用，官方同时提供图像编辑相关功能^[5]。

开源之后，CogView3也作为基座模型进入下游微调。有研究团队自建约40万组图文配对数据，用低秩自适应（LoRA）在CogView3上微调约2000步，用于城市空间场景的辅助表达；测试中该微调模型在中国本土城市场景上的用户满意度达到75%，高于未微调版本的约60%^[13]。此外，模型权重被第三方推理平台收录，可通过接口方式调用生成服务^[14]。

局限

中继扩散的收益并非无限放大。基础阶段的推理成本随面积平方增长，而超分辨率阶段的起点只落在扩散调度的中间时刻，两者能省下的计算量存在边界；官方给出的提速数字也随比较对象而变，同一份材料中既有“约1/2推理时间”的表述，也有“约1/10推理时间”的表述，后者对应的是经过渐进式蒸馏的变体，而非原始模型^[3]。

蒸馏本身也有代价。论文指出，以往的扩散蒸馏往往牺牲生成质量，若引入额外的GAN损失来弥补，又会因GAN训练不稳定而使蒸馏过程变得困难^[8]。CogView3把蒸馏后的采样压缩到两阶段共5步，质量与完整模型相当但不再是同等水平，属于以速度换质量的选择^[9]。

语言与使用条件方面，官方说明该系列模型只支持英文提示词，其他语言需先翻译；并建议在生成前借助大语言模型改写提示词，否则生成质量受限^[12]。显存上，基础与中继阶段模型在批大小为4时约需17GB，蒸馏版约需64GB，CogView3-Plus-3B在1024×1024下约需20GB、2048×2048下约需30GB，对硬件有一定要求^[12]。

评测层面也存在边界。在DrawBench与PartiPrompts上的机器指标比较中，CogView3在多数项目上超过SDXL与Stable Cascade，但在PartiPrompts的ImageReward一项上略逊于Stable Cascade^[9]。中继超分辨率虽然能修正部分伪影，其能力仍受基础阶段输出质量约束，无法把丢失的内容完全补回^[8]。

参见

• 中继扩散 —— CogView3所采用的级联扩散框架，通过模糊与块状噪声实现跨分辨率衔接。

• 扩散模型 —— CogView3的生成范式基础，以多步去噪还原图像。

• SDXL —— CogView3在论文中主要对标的开源文生图模型。

• CogVLM —— 被微调为图像重描述模型、用于重写CogView3训练数据的视觉语言模型。

• 智谱清言 —— 集成该系列模型能力的对话应用。