Hallo

定义

Hallo是一种音频驱动的人像动画方法，由复旦大学、百度、苏黎世联邦理工学院和南京大学的研究者合作完成^[2][5]。它的输入是一张包含人脸的静态图片和一段语音，输出是其中人物按音频内容开口说话或演唱的动态视频^[1]。与借助参数化中间人脸表示的传统做法不同，该工作采用端到端的生成范式，并引入分层音频驱动视觉合成模块，以提升音频与画面在唇形、表情、姿态三个层面的对齐精度^[6]。

该项目的正式名称来自其论文标题，论文将任务定位为面向人像图像动画的分层音频驱动视觉合成^[7]。研究者希望借助它，在不需要三维建模与专业摄影棚的条件下，让平面照片中的人物产生与语音匹配的口型和动作^[8]。

原理

Hallo的整体流程建立在扩散模型之上，主干网络选用Stable Diffusion 1.5，包含变分自编码器、基于UNet的去噪器以及条件编码部分^[2]。与常见的文本驱动扩散模型不同，该方法去掉了文本条件，改以音频特征作为运动控制的主要依据^[2]。参考图像先经过ReferenceNet提取全局视觉纹理，用于约束生成画面的外观；人脸编码器负责抽取与身份有关的特征。

音频侧使用wav2vec模型提取声学特征，并将网络最后12层的输出拼接后经线性层映射到运动特征空间，从而把语音转成与面部动作相关的表示^[6]。核心的分层音频驱动视觉合成模块把人脸划分为嘴唇、表情、姿态三个区域，分别学习各自与音频的对应关系，再通过自适应加权把三路注意力输出融合为最终的条件^[2]。使用者可分别调整姿态、表情、嘴唇三部分的权重，从而改变生成动作的幅度与丰富程度^[8]。

发展历程

Hallo的首篇论文于2024年6月12日发布在arXiv上，编号为2406.08801^[1]。同年6月15日，项目的第一版代码在代码托管平台上公开，并同步放出供推理测试用的示例图片与音频^[7]。此后社区围绕它开发了网页界面、Windows 运行方案、ComfyUI 集成和容器镜像等周边工具^[8]。

2024年10月，团队发布升级版本Hallo2，将能力扩展到长时段、高分辨率的人像动画，该论文被ICLR 2025接收^[3]。2024年12月，第三代工作Hallo3公开，改用基于Transformer的视频扩散模型CogVideoX-5B-I2V作为主干，并设计身份参考网络以维持长视频中的面部一致性，该工作被CVPR 2025接收^[4][9]。2025年1月，团队公开了包含70小时以上说话人头视频和50小时以上动态场景片段的训练数据^[4]。

应用

该技术可用于生成虚拟角色的说话与演唱动画，其口型、表情和姿态能够同语音输入保持对应，也支持让不同身份的肖像套用同一段音频^[10]。由于只需一张图片加一段音频即可产出视频，它被认为适合互动头像、视频生产以及游戏中的非玩家角色动画等场景^[11]。

在数字人方向，相关报道提到其可用于直播间的长时间播报、短视频中代替真人出镜讲解，以及企业宣传素材的制作^[12]。在学术与工程层面，项目开放了全部代码与预训练模型权重，研究者可在其基础上开展生成模型的实验^[11]。

局限

早期版本对输入素材有明确约束：参考图需裁剪为正方形，人脸应占据画面的50%至70%，且需接近正脸，旋转角度小于30度，不接受侧脸^[13][8]。驱动音频必须为WAV格式，且因训练数据仅包含英语，实际使用时也要求音频为英语^[8]。

性能方面，项目给出的测试环境为Ubuntu 20.04或22.04系统搭配CUDA 12.1，测试显卡为A100，Hallo3的测试显卡为H100，说明本地运行对硬件要求较高^[8][4]。此外，扩散式视频生成在时间拉长后容易出现面部身份特征退化，Hallo3正是为解决超长视频中的身份保持问题而引入身份参考网络^[14]。研究方也指出，此类音频驱动人像技术存在被用于伪造视频的伦理风险，需配合使用规范与隐私、知情同意方面的约束^[4]。

参见

• 扩散模型 —— Hallo 生成视频所依赖的基础模型类别。

• 数字人 —— 该技术主要的落地方向之一。

• wav2vec —— 用于把语音编码为运动特征表示的音频模型。

• Stable Diffusion —— Hallo 首版采用的主干生成模型。

• CogVideoX —— Hallo3 所采用的视频扩散 Transformer 主干。

• 口型同步 —— 音频驱动人像动画需要解决的关键问题。