视频生成

定义

视频生成指利用生成式人工智能模型，从文本提示、静态图像或已有视频等条件出发，自动合成一段连续运动画面的技术，属于多模态人工智能的研究方向之一^[4]。其核心任务是同时处理空间细节与时间依赖：既要在单帧画面上生成合理的纹理与光照，又要让相邻帧之间的物体形态、运动轨迹和镜头变化保持连贯^[4]。

按输入条件的不同，常见形式包括文本生成视频、图像生成视频以及视频到视频的编辑与延长；近年部分系统还把音频纳入同一生成流程，实现画面与对白、音效的同步输出^[2][3]。与单纯的视频剪辑不同，视频生成并不从既有素材中挑选片段，而是由模型直接产生像素内容^[5]。

原理

主流视频生成模型以扩散模型为基础。模型先取一段近似纯噪声的初始表示，再通过多个去噪步骤逐步恢复出清晰画面，去噪过程通常由文本编码器提供的语义向量加以引导^[6]。为降低计算量，多数系统先用变分自编码器把视频压缩到低维隐空间，再在隐空间中完成去噪，最后解码回像素^[7]。

在架构上，早期方法把图像扩散模型中的 U-Net 扩展到时间维度，加入时间注意力与三维卷积；其后扩散变换器（Diffusion Transformer，DiT）以三维全注意力统一建模时空关联，在保真度与提示词遵循上表现更好，成为 2024 年以后多款模型的基础^[8][9]。Sora 即采用这一思路，把视频与图像切分为类似语言模型标记的小块单元，从而在不同时长、分辨率和画幅的视觉数据上统一训练^[6]。

另一条技术路线是自回归生成，即依据前序帧或前序视频块预测下一帧、下一块，借此支持更长时长的输出；也有研究把自回归机制与扩散过程结合，形成混合范式^[4]。长视频通常还需分级、分段处理，先确定关键帧再补齐中间内容，以缓解显存与上下文窗口的限制^[8]。音频方面，谷歌深度思维(DeepMind)曾在 2023 年披露视频转音频研究，把视觉信息编码为语义信号后输入扩散模型生成音轨，为后来的音画同步生成提供了技术基础^[10]。

发展历程

视频生成的研究脉络可追溯至生成对抗网络与自回归模型阶段，随后扩散模型逐渐成为主导范式，评价重点也从单帧画质转向时序一致性与内容可控性^[4]。在 Sora 出现之前，文生视频产品普遍只能输出数秒长度的片段^[11]。

2024 年 2 月 15 日，OpenAI 发布文生视频模型 Sora，可根据文本生成最长 60 秒的高清视频，并能在单个视频中呈现多个镜头、保持角色与视觉风格一致，该模型同时支持以静态图像生成视频、延长既有视频或补全缺失帧^[1][12]。OpenAI 将这一方向描述为训练能够理解并模拟物理世界的模型^[6]。

2025 年 5 月，谷歌在 I/O 开发者大会上发布 Veo 3，首次在视频生成中引入原生音频，可依据提示同时产出环境声、音效与角色对白，并配合 Flow 工具用于镜头组接^[2][10]。同年 9 月 30 日，OpenAI 发布 Sora 2，官方称其在物理规律遵循、可控性与跨镜头一致性上较前代提升，并把同步对白与环境音纳入生成流程^[13]。

2026 年 2 月，字节跳动发布视频创作模型 Seedance 2.0，采用多模态音视频联合生成架构，支持文字、图片、音频、视频四类输入，可输出带双声道音频的多镜头片段^[3]。据新华社报道，该模型发布后在海外影视行业引发讨论，美国部分工会组织对其训练数据来源提出版权方面的质疑^[14]。

应用

在影视与广告制作中，视频生成可用于快速产出概念片、分镜预演和短镜头素材，压缩前期创意验证的时间与成本^[2][3]。有创作者使用 Veo 3 在约两小时内完成一条一分半钟的短片，配音、音效与对口型均由模型生成^[15]。日本 TBS 电视台曾在剧集续作中使用 Veo 3 生成部分画面^[16]。

电商与营销是另一类落地场景：模型可依据商品图片和描述生成展示视频，减少实拍与后期环节^[3]。此外，视频生成被用于动画与游戏素材制作、老片修复与帧率转换，以及为机器人、自动驾驶等需要虚拟场景的领域提供合成数据^[8][17]。交互式视频生成研究则尝试把物理模拟与画面渲染分离，使画面能随用户操作实时变化^[17]。

局限

现有模型在物理规律与因果推理上仍不稳定。OpenAI 在发布 Sora 时即指出，模型可能难以准确模拟复杂场景的物理过程、无法理解因果关系的具体实例，也会混淆提示中的空间方位，例如左右，并难以精确刻画随时间推移发生的事件与相机轨迹^[1]。实体凭空出现或消失、物体交互不符合刚性规律等问题也见于官方演示说明^[6]。

时长与一致性构成另一重约束。扩散模型的注意力计算随标记数量呈平方增长，生成长视频需要大量算力，分段生成又容易产生误差累积，导致画面质量在后续片段中下降^[8]。发布初期的 Veo 3 单条视频仍只有约 8 秒，Seedance 2.0 的高质量输出为 15 秒^[10][3]。字节跳动亦表示该模型生成结果仍存在诸多瑕疵，需要继续探索与人类反馈的对齐^[3]。

训练数据来源与版权是行业面临的制度性问题。好莱坞多个工会组织与电影协会曾就模型使用受版权保护的角色提出质疑，相关公司则通过授权合作等方式回应^[14]。为便于识别合成内容，谷歌在 Veo 3 生成的画面中嵌入 SynthID 隐形水印^[10]。此外，生成成本与可控性也影响实际生产：有创作者指出图生视频效果与价格尚未达到工作流预期^[15]。

参见

• 扩散模型 —— 视频生成主流方法所依赖的生成式建模框架。

• 扩散变换器 —— 以变换器替代 U-Net 的去噪主干网络，是当前多款视频模型的基础架构。

• 世界模型 —— 通过对视频等数据的学习来模拟现实世界状态变化的研究方向。

• 多模态人工智能 —— 同时处理文本、图像、音频与视频等模态的人工智能分支。

• 生成对抗网络 —— 视频生成早期采用过的生成式建模方法。

• Sora —— OpenAI 发布的文生视频模型，被视为该领域的重要节点。