AnimaX
AnimaX 是一个前馈式三维动画生成框架,由北京航空航天大学、清华大学、香港大学与 VAST 的研究者共同提出。它借助视频扩散模型学到的运动先验,为骨骼拓扑各异的可动三维网格生成动画,用户只需输入静态网格和一段文字动作描述,无需对模型做逐案优化。其做法是把三维动作表示为多视角二维姿态图,并以视频-姿态联合扩散模型同时生成视频与姿态序列,随后通过三角化与逆向运动学还原出骨骼动画。
定义
AnimaX 是一个前馈式三维动画生成框架,输入是一个带骨骼绑定的可动三维网格和一段文字动作描述,输出则是让该网格动起来的三维运动序列[1]。与需要针对每个对象单独迭代优化的神经形变场方法不同,它把视频扩散模型积累的运动知识迁移到三维动画任务上,因此一次前向推理即可得到结果[2]。
该框架的核心特点在于不限定骨骼拓扑。此前基于动作数据的扩散模型大多只在固定的、以人形为主的骨架结构上工作,而 AnimaX 面向任意骨骼结构的可动网格,覆盖人形、动物、家具等类别[3]。相关工作发表于 2025 年 12 月举行的 SIGGRAPH Asia 会议[4]。
原理
AnimaX 采用两阶段流程。第一阶段以输入网格渲染出的模板视图、姿态图和文字动作提示为条件,用视频-姿态联合扩散模型同时生成多视角一致的 RGB 视频与对应的二维姿态序列;第二阶段从生成的多视角姿态中三角化出每一帧的三维关节位置,再用逆向运动学求出关节角度并驱动网格[1]。
关键设计是姿态图的表示方式。研究把每根骨骼头部的关节位置投影到二维图像平面,为每个关节分配唯一颜色,渲染成圆形标记与连线组成的姿态图,便于后续恢复阶段定位关节[5]。若只微调视频模型去预测姿态,姿态表征的稀疏性和 RGB 与姿态之间的模态差异会破坏已学到的时空先验,输出往往扭曲或近乎静止;因此模型改为联合预测两种模态,并对两种模态中位置对应的 token 施加共享位置编码,使视频中的运动先验能够落到姿态序列上[6]。
在实现上,模型由视频潜扩散模型初始化,额外加入相机嵌入、模态嵌入与增强的位置嵌入,通过三维因果 VAE 把图像和视频编码为潜变量,再由扩散 Transformer 估计多视角下视频与姿态潜表示的联合分布。两种模态的 token 在时间维上拼接成统一序列,由三维自注意力联合处理,从而同时获得图像条件与序列的时间建模能力[5]。
姿态序列还原为动画时,先用聚类提取二维关节位置,再通过多视角三角化与最小二乘优化得到三维关节坐标,最后由逆向运动学映射为骨骼旋转。相机参数用 Plücker 射线编码,网络中另设多视角注意力以减少视角间不一致[7]。
发展历程
AnimaX 由北京航空航天大学软件学院、清华大学、香港大学与 VAST 的研究人员合作完成,第一作者为北京航空航天大学硕士生黄泽桓,通讯作者为该校盛律教授与 VAST 首席科学家曹炎培[1]。技术报告于 2025 年 6 月 24 日上传至 arXiv,编号 2506.19851[2]。官方代码仓库于 2025 年 6 月 25 日发布技术报告信息[8]。
论文随后被 SIGGRAPH Asia 2025 会议论文收录,会议于 2025 年 12 月 15 日至 18 日在香港举行[9]。为训练该模型,研究团队构建了约 16 万条带骨骼绑定的三维动画序列数据集,涵盖人形、动物和可动家具等类别[3]。
应用
该框架面向游戏、影视、虚拟人与交互式内容创作等需要大量三维角色动画的场景。按论文与项目主页给出的结果,它能为人形角色、动物、家具乃至机械结构生成时空一致的动作,一条动画的推理耗时在数分钟量级,相比依赖长时间优化的方法明显缩短[1]。
在量化评测中,研究者在 VBench 视频生成基准上比较多视角渲染结果,AnimaX 的 I2V 主体一致性为 0.962、运动平滑度为 0.990、外观质量为 0.517,均高于 Animate3D 与 MotionDreamer 两个对比方法[10]。30 名参与者的人工偏好测试中,动作与文字对齐、三维形状一致性、整体运动质量三项分别有 82.9%、73.3% 和 77.9% 的评价者选择了 AnimaX 的结果[10]。
局限
作者指出,当前版本假设相机视角固定,这限制了大范围的空间位移,角色难以在场景中大幅走动;同时动画长度受所用扩散骨干网络的最大视频长度约束[11]。后续方向包括训练支持相机运动的模型,以及借助自回归方法或测试时训练策略生成更长、更连贯的动画[12]。
评测指标本身也存在不确定性。研究者说明,用于衡量运动丰富度的 Dynamic Deg. 指标稳健性有限,主体消失之类的严重生成失败同样可能得到偏高的数值,因此该指标不宜单独解读[9]。此外,消融结果显示整套机制相互依赖:仅预测姿态时外观质量降至 0.448,去掉共享位置编码后为 0.429,均低于完整设置,说明跨模态对齐一旦缺失,生成质量会明显回落[10]。
参见
参考资料
- github.io 上的网页 [引用日期2026-10-29]
- abstract [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- buaa.edu.cn 上的网页 [引用日期2026-10-29]
- Most relevant to AnimaX are Diffusion4D [Liang et al [引用日期2026-10-29]
- huggingface.co 上的网页 [引用日期2026-10-29]
- AnimaX推出基于世界模型的全新3D动画生成技术,骨骼系统任意驱动 [引用日期2026-10-29]
- anima-x [引用日期2026-10-29]
- acm.org 上的网页 [引用日期2026-10-29]
- animax-animating-inanimate-3d-joint-video-pose [引用日期2026-10-29]
- AnimaX:基于联合视频-姿态扩散模型的三维无生命物体动画 [引用日期2026-10-29]
- alphaxiv.org 上的网页 [引用日期2026-10-29]