CogVideoX
定义
CogVideoX 是一个面向文本到视频生成的大规模扩散 Transformer 模型，由清华大学与智谱 AI的研究团队共同提出，相关论文于 2024 年 8 月 12 日提交至 arXiv 预印本平台，并被 ICLR 2025 接收[1][5]。
在开源语境下，CogVideoX 也指代由多个参数量不同的子模型组成的系列，包括 CogVideoX-2B、CogVideoX-5B、CogVideoX-5B-I2V 以及后续的 1.5 版本，这些模型以开源形式发布，供开发者下载、推理与微调[4]。它与智谱对外提供的视频生成产品「清影」同源，是同源模型的开源版本[6]。
原理
该模型的核心思路是先把视频压入低维潜在空间，再在潜在空间中用扩散过程逐步去噪生成画面。为此团队设计了三维因果变分自编码器（3D Causal VAE），从空间和时间两个方向同时压缩视频，把原始视频数据压缩到约 2% 的大小，从而降低扩散模型的训练成本与难度[3]。该编码器以因果三维卷积为主要组件，并去除了自编码器中常用的注意力模块，使其具备向不同分辨率迁移的能力[7]。
文本与视频两种模态的融合由专家 Transformer 承担。模型先用 T5 把提示词编码为文本嵌入，再用 VAE 编码器把视频压成潜在序列，两者沿序列维度拼接后送入 Transformer 堆栈；其中采用专家自适应层归一化（expert adaptive LayerNorm），为文本和视频分配不同的尺度与位移参数，以缓解两种模态在特征空间上的差异[6][3]。注意力部分采用三维全注意力机制，取代了此前常见的时空注意力分离或分块方案[7]。
位置编码方面，模型使用三维旋转位置编码（3D RoPE），以增强对时间维度上帧间关系的刻画，建立视频中的长程依赖[8]。训练上采用渐进式策略与多分辨率帧打包技术，先以较低分辨率和较短时长起步，再逐步提升，使模型能够生成运动幅度较大的长时段连贯视频[1]。
flowchart LR
P[文本提示词] --> T[T5 文本编码器]
V[原始视频] --> E[3D 因果 VAE 编码器]
T --> C[嵌入拼接]
E --> C
C --> X[专家 Transformer + 3D RoPE]
X --> D[3D VAE 解码器]
D --> O[生成视频]
发展历程
团队在 CogVideoX 之前已有积累。2022 年 5 月 19 日，基于 Transformer 的大型文本生成视频模型 CogVideo 开源，被视为较早开源的此类模型之一，其论文发表于 ICLR 2023[4]。CogVideoX 的论文则在 2024 年 8 月 12 日公开[1]。
开源节奏集中在 2024 年下半年。2024 年 8 月 6 日，首个模型 CogVideoX-2B 与配套的三维因果 VAE 一并开放；8 月 27 日推出规模更大的 CogVideoX-5B，并将 2B 模型的协议调整为 Apache 2.0；9 月 19 日发布图生视频模型 CogVideoX-5B-I2V，同期开源负责视频描述生成的 CogVLM2-Caption[4]。
2024 年 11 月 8 日，升级版 CogVideoX 1.5 发布，包含 CogVideoX1.5-5B 与 CogVideoX1.5-5B-I2V，支持 5 秒或 10 秒时长、1360×768 分辨率，其中图生视频版本可接受任意宽高比的输入[4]。同年 7 月，同源的公开视频生成产品清影上线；后续版本进一步把能力扩展到 10 秒、4K、60 帧并加入音效生成[3]。2025 年起，社区与官方陆续补充了 LoRA 微调、DDIM 反演与 CogKit 工具链等配套[4]。
应用
CogVideoX 的基本用途是由文字或图片生成视频，覆盖文生视频、图生视频与视频续写三类任务[4]。官方文档列出的应用方向包括广告制作、电影剪辑与短视频制作，使用者可在开放平台上调用模型完成艺术类视频创作[8]。
在工程侧，模型权重与推理、微调代码均已公开，并适配了 Diffusers 等常用库，开发者可在单张消费级显卡上完成推理或微调[4]。围绕该模型还出现了若干社区项目，例如延长生成长度的外推方法、可控生成的结构改造以及将其接入可视化工作流的封装工具[4]。
局限
早期开源版本的生成规格较为有限。CogVideoX-2B 的输出为 6 秒、8 帧每秒、720×480 分辨率，提示词长度上限约 226 个 token，且仅支持英文提示词，其他语言需先经大模型翻译[6][4]。即便是后续的 1.5 版本，帧数也需满足 16N+1 的约束，并非任意长度都能生成[4]。
推理成本与硬件门槛同样构成限制。不同实现方式下的显存占用差别明显，量化推理虽能降低显存需求，却会牺牲速度，部分精度格式也不建议用于生产环境[4]。此外，团队也指出视频训练数据存在分布噪声，人工编辑会扭曲真实动态、拍摄问题会降低画质，需要专门的筛选框架剔除动态信息不足的样本，这说明生成质量在很大程度上受制于训练数据的清洗水平[3]。
参见
参考资料
- arxiv.org 上的网页 [引用日期2026-10-29]
- sources/cogvideox.md · tbukuai/hf-papers-wiki at main [引用日期2026-10-29]
- CogVideoX + CogSound，为无声视频，增添动人音效 [引用日期2026-10-29]
- README_zh [引用日期2026-10-29]
- citations [引用日期2026-10-29]
- 开源 · CogVideoX，开源了！ [引用日期2026-10-29]
- CogVideoX v1.5，开源。 [引用日期2026-10-29]
- DHCjw1TrJiTyeukfc9RceoSRnCh [引用日期2026-10-29]