Animate Anyone

定义

Animate Anyone 是一种面向角色动画的图像到视频生成方法，任务形式是姿势引导的合成：给定一张描述角色外观的参考图像，再给定一段姿势序列，模型输出该角色执行相应动作的视频^[1]。它的输入不含文字提示，人物长什么样由参考图像决定，人物怎么动由动作序列决定^[5]。

与把若干帧拼接起来的做法不同，该方法把整段视频作为一次生成的对象，在保持角色面部、服装等细粒度特征的同时，让帧与帧之间的过渡连续^[6]。论文将其定位为角色视频创作的基础性方案，可推广到在线零售、娱乐视频、艺术创作和虚拟角色等场景^[7]。

原理

该方法的骨架是Stable Diffusion一类的潜在扩散模型。图像先经编码器映射到潜空间 $\mathbf{z}=\mathcal{E}(\mathbf{x})$，扩散过程在潜空间中逐步加噪，去噪网络学习预测所加噪声，训练目标为 $\mathbf{L}=\mathbb{E}_{\mathbf{z}_t,c,\epsilon,t}(\|\epsilon-\epsilon_{\theta}(\mathbf{z}_t,c,t)\|_2^2)$，推理时从随机噪声反复去噪，最后由解码器重建为图像^[1]。Animate Anyone 沿用这套框架与预训练权重，但把输入从单帧改为多帧噪声，并把二维去噪网络扩展为带时序层的结构^[1]。

在此基础上加入 3 个关键部件。ReferenceNet 从参考图像中提取外观特征，在各层通过空间注意力注入去噪网络，使生成结果保留原图的细节；姿势引导器是一个轻量模块，把姿势信号编码后与噪声融合，用于控制动作；时序层在时间维度上建模帧间关系，保证动作平滑、画面不闪烁^[1]。此外，参考图像的语义特征还会经 CLIP 图像编码器进入交叉注意力，与细节特征形成互补^[8]。

flowchart LR

A[参考图像] --> B[ReferenceNet 外观细节特征]

A --> C[CLIP 图像编码器 语义特征]

D[姿势序列] --> E[姿势引导器]

E --> F[与多帧噪声融合]

B --> G[去噪 UNet：空间注意力]

C --> G2[交叉注意力]

F --> G

G --> H[时序层建模帧间关系]

G2 --> H

H --> I[VAE 解码器]

I --> J[角色动画视频]

```[^8]

## 发展历程

2023 年 11 月，阿里巴巴研究团队公开了该方法的论文《Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation》，论文页面显示提交时间为 2023 年 11 月 28 日[^1][^9]。据中文资料记载，该工作由阿里巴巴智能计算研究院、通义实验室和 XR 实验室参与研发，论文发布后演示视频在海外社交平台获得大量播放，项目仓库关注数短期内破万[^3][^10]。

2024 年 1 月，基于该技术的“全民舞王”功能在通义千问应用中上线，用户上传一张全身照片并选择舞蹈模板即可生成短视频，首批提供科目三等 12 种模板[^3][^11]。2024 年 6 月，该论文发表于 IEEE/CVF 计算机视觉与模式识别会议(CVPR 2024)，收录页码为 8153 至 8163[^6]。

2025 年 2 月，研究团队发布第二代版本 Animate Anyone 2 的技术报告，同年 10 月相关论文发表于国际计算机视觉大会(ICCV 2025)[^12][^13]。该版本在动作信号之外，还从源视频中提取环境表示作为条件输入，用与环境形状无关的掩码描述角色与环境的关系，并借助物体引导器处理人与物体的交互[^13]。研究团队为此整理了包含 10 万段人物视频的数据集，覆盖多种场景、动作类别和人机物交互情形[^4]。

## 应用

最直接的应用是娱乐化的舞蹈视频生成。通义千问中的相关功能允许用户上传真人或动漫角色的全身照，选择热门舞蹈模板后合成约十几秒的舞蹈片段，生成结果保留原形象的面部表情、身材比例和服装特征[^11][^3]。后续迭代还支持用户上传任意视频以提取骨骼序列，把其中的动作迁移到静态照片上[^3]。

在开发者侧，该方法以云服务接口的形式开放，调用时需传入经检测处理的人物图像和由动作模板接口生成的动作模板编号，可选择沿用原图背景或使用模板视频背景，支持 JPG、PNG 等格式，图像文件需小于 5 MB[^14]。这类接口可用于短视频制作、虚拟形象驱动、电商展示等需要以固定人物形象重复演绎不同动作的场合[^7]。

## 局限

动作控制依赖从画面中提取的骨架关键点，这种表示只保留肢体的大致位置，不包含体型、手指和朝向的细节，也不含脚与地面的物理约束。因此脚部易出现滑动，手指区域常显模糊，模型只能依据生成先验给出猜测[^15]。输入图像的取景也会影响结果：半身照缺少下半身信息，下半身由模型补全，容易产生畸变，官方接口文档因此不建议在半身照配合视频背景的场景下使用[^14]。

时序注意力主要作用于相邻帧，人物身份的记忆会随片段延长而逐渐松动，误差逐帧累积，长视频后段可能出现面部与外观漂移[^15]。此外，扩散模型固有的生成幻觉会使结果在细节上偏离参考图像，部分复现实验也观察到该方法产生伪影[^16][^17]。

在横向评测中，有研究指出基于扩散的这类方法在一致性与真实感上不如基于三维高斯泼溅的方案，且后者需要提供人物视频而非单张图像，二者的输入代价并不相同[^18]。也有主观评测显示，生成动作被正确识别的比例和与参考视频一致的比例均不高，说明面对新身份与新动作时效果仍有明显不足[^19]。第一代方法只从源视频提取动作，不建模角色与周围环境的关联，这一空缺由第二代版本专门处理[^13]。

## 参见

- [[Stable Diffusion]] —— Animate Anyone 所依托的潜在扩散模型框架。

- [[扩散模型]] —— 该方法生成视频所依赖的生成式建模思路。

- [[动作捕捉]] —— 与之目标相近但走三维重建路线的技术。

- [[CVPR]] —— 该论文 2024 年的发表会议。

- [[通义千问]] —— 集成该技术相关功能的应用产品。