CogView

定义

CogView是一个文本到图像生成模型系列，由清华大学与智谱AI的研究团队共同研发。用户输入一段文字描述（提示词），模型输出与该描述对应的图像，属于多模态生成模型的一种。

该系列从2021年持续迭代至今，先后包括CogView、CogView2、CogView3、CogView3-Plus与CogView4等版本。初代CogView是参数量40亿的Transformer模型，配备VQ-VAE图像分词器，用于中文全领域的文本到图像生成^[1][2]。

原理

初代CogView采用两阶段结构。第一阶段用VQ-VAE把图像压缩为低维离散隐空间的标记序列，相当于图像分词器；第二阶段用一个GPT式的单向自回归Transformer，把文本标记与图像标记拼接后作为输入，学习它们的联合分布^[3][4]。生成时模型计算Caption Score对候选图像排序，选取与文本最匹配的结果，因此不需要额外引入CLIP模型^[3]。

大规模文图联合预训练容易不稳定，团队分析了产生原因，并提出Precision Bottleneck Relaxation（PB-relax）与Sandwich LayerNorm两种方法，消除前向传播中的溢出（表现为NaN损失）和下溢（表现为损失发散）问题，使模型可在接近FP16的精度下训练^[3]。

CogView3改用级联扩散与中继扩散（relay diffusion）框架，分三个阶段生成：先以标准扩散过程生成512×512低分辨率图像，再通过中继扩散执行2倍超分辨率得到1024×1024图像，最后迭代得到2048×2048图像。CogView3-Plus-3B在此基础上引入DiT框架，采用Zero-SNR扩散噪声调度和文本-图像联合注意力机制，与常用的MMDiT结构相比可降低训练和推理成本。

CogView4在DiT架构上延续了共享参数的Share-param DiT结构，为文本和图像模态分别设置独立的自适应LayerNorm层；图像位置编码采用二维旋转位置编码（2D RoPE），并通过内插位置编码支持不同分辨率；扩散生成建模采用Flow-matching方案，配合参数化的线性动态噪声规划。训练分为基础分辨率训练、泛分辨率训练、高质量数据微调和人类偏好对齐等多个阶段^[5]。

发展历程

CogView系列从2021年开始研发，时间上与OpenAI的DALL·E系列接近。2021年，初代CogView的论文在NeurIPS发表，模型为40亿参数的Transformer，在模糊MS COCO数据集上取得最优FID，优于此前的生成对抗网络模型和DALL·E^[1]。

2022年，团队发布CogView2，将语言模型GLM与CogView结合，推出中英双语版本，在清晰度、模型规模和生成速度上均较初代提升，并支持图像补全等任务^[2]。

2024年，智谱技术团队在ECCV大会上开源CogView3，采用级联扩散与中继扩散框架。论文所述人工评估中，其表现比开源模型SDXL高77.0%，推理时间约为后者的1/10。同年10月14日，团队开源CogView3-Plus-3B，该版本基于DiT框架，参数量为3B，支持512px至2048px分辨率，采用Apache 2.0协议，能力上线智谱清言App。

2025年3月4日，智谱发布2025开源年的首个模型CogView4，这是首个支持生成汉字的开源文生图模型，也是首个遵循Apache 2.0协议的图像生成模型；其在DPG-Bench基准测试中综合评分排名第一^[6][5]。CogView4-6B-0304版本于2025年3月13日上线智谱清言^[5]。

应用

初代CogView除基础的文生图外，经微调后可用于风格学习、超分辨率、文本-图像排序和时装设计等下游任务。在风格学习场景中，加入风格限定词即可生成国画、油画、水彩画、轮廓画等不同效果^[7][8]。

CogView3与CogView3-Plus的能力已集成至智谱清言App及对应平台，供用户在线体验。开发者也可通过智谱AI开放平台的图像生成接口调用CogView系列模型，接口支持指定图像尺寸、质量等参数^[9]。

CogView3还被用于教育场景的研究。有研究以CogView3为基础模型，在自建的高质量图文配对数据集上采用低秩自适应（LoRA）技术微调，用于城市规划课程中城市场景的图像生成辅助^[10]。CogView4支持中英双语提示词，可将中英文字符融入画面，适用于海报、文案配图、广告与短视频等创意场景^[11]。

局限

早期基于生成对抗网络的文生图模型在简单和特定领域数据集上可作合理合成，但在复杂场景中效果有限；而自回归Transformer路线受计算量制约，此前最大的像素级自回归模型ImageGPT也仅能处理96×96分辨率^[3]。初代CogView的演示版本在发布时未包含后选择与超分辨率处理，仅支持简体中文输入，其他语言需先译为中文^[12]。

CogView3-Plus-3B的提示词编码器为T5-XXL，提示词语言为英语，长度限制为224个token。该模型在A100设备上推理速度为1秒/步，支持BF16和FP32计算精度，但不支持FP16精度，以避免溢出导致生成全黑图像；不同分辨率下显存占用从512×512时的19GB到2048×2048时的25GB不等。

CogView4采用多阶段训练策略，其中与固定512 token的传统方案相比，当训练caption平均长度在200至300 token之间时可减少约50%的token冗余，这说明固定长度方案存在冗余问题，而任意长度方案的效率收益依赖于训练阶段的配置^[5]。

参见

• DALL·E —— 同期提出的文本到图像生成模型，与CogView在技术路线上接近。

• DiT —— CogView3-Plus与CogView4采用的扩散Transformer架构。

• VQ-VAE —— 初代CogView用作图像分词器的离散自编码器框架。

• GLM —— 与CogView结合形成CogView2，并在CogView4中充当文本编码器的语言模型。

• SDXL —— CogView3在评估中对比的开源文生图扩散模型。

• 智谱清言 —— 集成CogView系列模型的对话产品。