AI换脸

定义

AI换脸指用一种算法模型，把源人物的面部身份信息移植到目标图像或视频中的面部上，生成的新画面同时带有源人物的长相与目标人物的姿态、表情、发型和光照条件^[1]。它区别于只改变表情和口型的人脸操控：换脸改变的是身份，人脸操控保留原身份而迁移动作^[2]。

AI换脸通常被归入深度伪造的范畴。深度伪造泛指用人工智能生成或篡改音视频，使人看起来说了没说过的话、做了没做过的事，这一大类里还包含人脸操控、人脸属性编辑和人脸合成等形式^[3]。

原理

多数AI换脸系统按探测、编码、融合3个阶段工作^[2]。首先用人脸检测器定位画面中的人脸，并标定眼睛、鼻尖、嘴角、下颌轮廓等关键点，这一步的误差会被后续所有环节继承。随后源人脸被压缩成一个紧凑的身份向量，代表骨骼结构、眼距等抽象特征，目标人脸则走另一条支路提取表情、头部姿态和光照方向^[4]。

解码器按目标属性重建出带有源身份的人脸，再做颜色匹配、边缘羽化和人脸修复，使之与原画面衔接^[4]。早期做法使用自动编码器，分别学习源脸和目标脸的特征，编码源脸表情后用目标的解码器重新生成画面，这类做法需要为每个身份单独训练模型^[3]。

生成对抗网络(GAN)由生成器和判别器组成，前者负责造出假脸，后者负责分辨真假，两者通过对抗训练同时提升能力，生成结果的逼真度因此大幅提高^[5]。对生成对抗网络而言，其训练目标是两人博弈的极小极大问题：

近年扩散模型被引入换脸与视频生成。它从充满噪点的模糊画面出发，逐步去噪，并在每一步依据参考人脸和动作信息补充细节，最终得到清晰且时序连贯的帧，面部纹理、光影和皮肤质感更自然^[3]。

发展历程

2014 年，伊恩·古德费洛等人提出生成对抗网络，为后来的换脸方法提供了核心算法基础。2016 年，尤斯图斯·蒂斯等人在计算机视觉与模式识别会议上发表 Face2Face，能够把一个人的表情与肌肉变化实时复制到目标视频人物脸上，但该方法当时门槛较高，传播范围有限^[6]。

深度学习被引入换脸领域后，研究者把生成对抗网络与面向图像识别的卷积神经网络结合，并采用由低分辨率逐步提升到高分辨率的分阶段训练，伪造人像的质量明显提高^[7]。2020 年，SimSwap 提出身份注入模块，不再为每个身份单独训练，而是把身份特征注入通用的编码器—解码器，一套模型即可处理任意人脸组合^[4]。2023 年，DiffSwap 将换脸重新表述为带三维感知掩码的条件式图像修补问题，以扩散过程完成替换^[2]。

2022 年 11 月，国家互联网信息办公室、工业和信息化部、公安部联合公布《互联网信息服务深度合成管理规定》，自 2023 年 1 月 10 日起施行，要求对可能导致公众混淆的人脸生成、人脸替换、人脸操控等服务进行显著标识^[8]。此后研究重点从单张图像的一次性身份迁移，转向视频的时序一致性、三维结构保持和多参考可控性^[1]。

应用

在影视行业，换脸可用于制作数字替身，让演员在不便亲自拍摄的场景中以另一种形象出现，也可用于修复老影片、让历史人物在画面中开口说话^[3]。游戏与动画制作中，该技术能让虚拟角色的表情更接近真人表演^[3]。

换脸常与语音克隆、音画同步配合使用。语音克隆从目标人物的一小段语音中学习音色、语速和发音习惯，再由系统分析音素驱动面部模型生成对应口型，使嘴型与声音保持一致^[3]。在个性化视频、社交应用中的滤镜与形象替换，也是该技术的常见落地形式^[2]。

局限

换脸质量高度依赖输入素材。正面、光照均匀、长边不低于 512 像素的源脸效果较好，偏转超过约 30 度时质量明显下降；目标侧光与源脸受光方向不一致时，接缝容易显露^[4]。许多开放模型的内部工作分辨率为 128×128 或 256×256，输出分辨率再高，细节仍受内部分辨率限制^[4]。

视频换脸存在时序问题。逐帧处理不共享状态，长视频中后段容易出现瞳孔颜色、下颌形状和肤色的漂移，称为身份漂移^[2]。多人场景中还需判断检测到的脸与哪个源身份对应，错配并不罕见^[4]。此外，目标眼、鼻、唇边缘若残留在合成脸下方，会形成重影；大角度姿态下身份保持也会变差。

速度与保真度难以兼顾。基于生成对抗网络的模型推理接近单次前向传播，速度较快；扩散模型需要多步去噪，推理以秒计，难以满足实时场景^[4]。早期换脸视频在眨眼频率、牙齿边缘、发丝和光影上留有破绽，但随着技术迭代，肉眼识别的可靠性不断下降，检测方法也在与生成技术持续博弈^[3]。

使用边界受法律约束。《互联网信息服务深度合成管理规定》要求服务提供者对生成或编辑内容添加不影响使用的标识，并对人脸替换等可能导致公众混淆的服务作显著标识，任何组织和个人不得删除、篡改、隐匿这些标识^[9]。

参见

• 深度伪造 —— 涵盖换脸、人脸操控、语音合成等合成媒体的总称。

• 生成对抗网络 —— AI换脸在 2010 年代后期追求逼真效果的主要模型架构。

• 扩散模型 —— 近年用于高质量换脸与视频生成的一类去噪生成模型。

• 自动编码器 —— 早期换脸方法所依赖的编码—解码网络结构。

• 人脸识别 —— 换脸中用于提取身份向量、衡量相似度的相关技术。