图生视频

定义

图生视频指以静态图像为输入条件、由生成模型输出视频片段的技术。它与仅以文字提示词驱动的文生视频相对，通常在上传图片之外还可附加文字提示，用来描述希望出现的动作、运镜或氛围^[1][2]。

按图片在生成过程中的角色，常见的两种形式是首帧生视频与首尾帧生视频。前者由单张图片决定视频起始画面，后者同时固定开头与结尾两帧，由模型补全中间的过渡内容；把上一段视频的末帧作为下一段的首帧，还能把多个短片段串接成较长视频^[3]。此外，可灵、Seedance 等模型提供的主体参考功能，允许同时上传图片锁定人物、道具或场景的特征，这一路径被厂商概括为「图生视频＋主体参考」^[4]。

在模型产品中，这一能力常以 i2v 的缩写与文生视频的 t2v 并列出现，是视频生成模型的基础功能之一^[5]。

原理

多数图生视频模型沿用扩散模型的思路：训练时向图像序列逐步加入噪声，再训练神经网络学习逆向去噪，从而在推理阶段由随机噪声还原出画面^[6][7]。与纯图像扩散相比，视频模型需要把压缩与建模的对象从二维空间扩展到时间维度，因此引入 3D 变分自编码器把连续多帧压入潜空间，并在注意力结构中增加时间层，学习相邻帧之间的对应关系^[1]。

在此基础上，去噪主干网络的选择形成了技术分野。早期视频扩散模型多以 U-Net 为主干，Stable Video Diffusion 即以 Stable Diffusion 2.1 的图像权重为空间基座，再叠加时序层并在视频数据上精调而来^[7]。2024 年 Sora 采用扩散 Transformer(DiT) 架构，将视频切分为时空块序列进行规模化训练，视觉块的数量与内容直接决定生成视频的时长、比例与分辨率^[7][6]。

图片在生成过程中一般作为条件信号注入：编码后的图像特征与文本提示一起约束每一步去噪的方向，首帧模式下第一帧被视为已知量并固定，后续帧在其基础上延续；首尾帧模式则同时对两端施加约束。用流程表示大致为：

flowchart LR

A[输入图片] --> C[图像编码]

B[文字提示] --> D[文本编码]

C --> E[时空去噪 DiT/UNet]

D --> E

E --> F[3D VAE 解码]

F --> G[输出视频片段]

另一条路线是自回归生成，把视频离散为图像帧或词元，沿用预测下一内容的方式逐段续写，理论上可无限延长视频；清华团队的 CogVideo 与智源研究院的 Emu3 都属于此类探索^[7][1]。

发展历程

图生视频能力最早在 2023 年前后随商用视频生成产品出现。Runway 于 2023 年 3 月发布 Gen-2，可依据文字、图像或视频片段生成新视频；同年 11 月 Stability AI 发布开源的 Stable Video Diffusion，该模型以图像为条件生成短片，是首个公开权重并附有训练配方的潜空间视频扩散模型^[8][9]。同期 Pika 1.0 等产品亦相继开放，这一阶段生成的片段普遍只有数秒，运动幅度稍大就容易出现画面崩坏^[10][11]。

SVD 发布的模型卡自身列出的限制包括：片长约 4 秒、不支持文本条件输入、在人脸、手部和小字上易出现明显瑕疵^[8]。这些短板也说明早期图生视频只能完成「让图片动起来」的基础任务。

2024 年 2 月 OpenAI 预览发布 Sora，可生成长达约一分钟的视频，并支持以图片作为输入，行业技术方案随之向 DiT 架构收敛^[2][6]。此后开源与闭源模型密集迭代：快手于 2024 年 6 月推出可灵首个面向用户的 DiT 视频生成模型，并于 9 月升级至 1.5 版本；Runway、Luma、MiniMax、字节跳动等也陆续发布同类产品^[12][7]。

2026 年前后，模型能力从单一画面生成转向镜头调度与音画同步。可灵 3.0 系列于 2026 年 2 月 5 日上线，支持最长 15 秒连续生成与「图生视频＋主体参考」；字节跳动 Seedance 2.0 支持图像、视频、音频、文本 4 种模态输入；生数科技 Vidu Q3 可一次生成 16 秒的完整叙事段落^[4][13]。阿里巴巴 Wan2.7 系列则把图生视频拆为独立模型，输出分辨率覆盖 720P 与 1080P，时长可在 2 至 15 秒间指定^[14]。

应用

图生视频最常见的用途是把已有静态素材转为动态短片，例如产品展示、海报动效与 IP 动画；由于原图的风格与主体在生成中得到保留，这类场景对一致性的要求高于对创意的要求。在叙事、产品演示与教程类内容中，首尾帧串接的方式可以把多个片段衔接为较长视频^[3]。

在影视与广告流程中，该技术被用于分镜预演和概念片制作。有从业者以单张参考图和提示词生成了带音轨的多镜头预告片，显示其在低成本试拍环节的可用性^[13]。围绕模型形成的配套工具也在增加，运镜控制、运动笔刷、主体框选等选项被集成进创作平台，用以弥补提示词难以精细控制画面的问题^[7]。

教育与动画制作是另一类应用方向。图像生成可先产出原画素材，再交由人工调整，从而压缩传统动画中场景与人物素材的绘制时间^[6]。

局限

物理规律失真较为普遍。模型并不内置物理引擎，运动主要依据像素统计推断，因此会出现物体反重力、穿模或接触反馈不合理等现象^[1][6]。

主体一致性仍难以长期维持。人物转身后面部或服饰发生改变的情况被称为身份漂移，时间注意力层对较长距离的依赖建模有限；厂商引入主体参考、特征解耦等手段，正是针对这一问题^[1][15]。

时长与算力相互制约。多数产品单次输出仍在数秒至数十秒量级，端到端时空扩散对显存需求很高，生成 60 秒视频的显存与推理开销随长度显著上升^[1][7]。有测算指出，生成一条 10 秒视频的费用远高于同等价格下调用大语言模型所获得的文本量，成本尚未降到普遍可用的程度^[7]。

训练数据的单镜头时长也构成限制。公开视频多为剪辑成片，单个镜头常在 3 秒左右，模型缺少观察长时运动的机会^[7]。此外，逼真度提高带来深度伪造与版权方面的风险，平台通常加入水印与内容过滤等措施^[1]。早期模型还有不支持文本指令、无法在画面中渲染清晰文字的问题^[8]。

参见

• 文生视频 —— 以文字提示词为主要输入的视频生成技术，与图生视频并列构成视频生成的两类基本任务。

• 扩散模型 —— 图生视频主流路线所依托的生成模型框架，通过逐步去噪还原画面。

• 扩散Transformer —— 以 Transformer 取代 U-Net 的去噪主干，提升了视频生成的规模扩展能力。

• Stable Video Diffusion —— 2023 年发布的开源图像条件视频扩散模型，图生视频早期代表。

• Sora —— OpenAI 发布的视频生成模型，支持以图片为输入并推动行业转向 DiT 架构。

• 可灵 —— 快手推出的视频生成模型系列，提供图生视频与主体参考等功能。