AnimeGANv2

定义

AnimeGANv2是一套开源的图像到图像转换模型，任务是把真实照片映射为日本动画风格的画面，官方项目将用途描述为风景照片与视频的动漫化^[1]。它属于生成对抗网络在风格迁移方向的实践，由生成器和判别器两部分组成，通过两者对抗训练让生成结果在纹理与色彩上接近目标动画风格，同时保留原图的内容结构^[3]。模型使用未经配对的数据训练，不需要同一场景的照片与动画画面成对出现^[3]。

随项目一同提供的预训练权重覆盖多种风格，风景类包括宫崎骏、新海诚和今敏三种动画取向，人像类则来自公开人脸数据集及专门的肖像训练^[1]。

原理

模型沿用对抗训练的基本框架。生成器接收照片并输出风格化图像，判别器则要分辨输入画面来自真实动画数据还是由生成器合成，两个网络在博弈中交替优化^[3]。生成器采用编码器—解码器结构，先通过下采样卷积压缩分辨率、提取语义特征，再借助残差模块处理风格信息，最后由上采样还原到与输入相近的尺寸^[4]。为控制体积，网络层数与通道数都被压缩，生成器权重约8.17 MB，项目还给出参数量更小的轻量版本。

训练目标由多项损失加权构成，可写为 $L_G = \lambda_{adv}L_{adv} + \lambda_{con}L_{con} + \lambda_{sty}L_{sty} + \lambda_{col}L_{col} + \lambda_{tv}L_{tv}$。其中对抗损失负责整体真实感，内容损失用预训练 VGG 网络的高层特征约束输出与原图的语义一致性，风格损失比较特征图的 Gram 矩阵以贴合目标画风，颜色损失在 YUV 空间约束色调，总变差损失则抑制相邻像素的剧烈跳变^[5]。相对初代，总变差损失是 v2 新增的一项，用于压制生成画面中的高频噪声^[6]。另有技术分析指出，v2 通过调整网络中特征的归一化方式来减少伪影，因为初代采用的实例归一化容易在输出中产生高频噪声^[3]。

flowchart LR

A[真实照片] --> B[生成器 G]

B --> C[动漫风格图像]

D[真实动画帧] --> E[判别器 D]

C --> E

E --> F[对抗损失]

B --> G[VGG 感知网络]

A --> G

G --> H[内容损失与风格损失]

B --> I[颜色损失、总变差损失]

发展历程

初代 AnimeGAN 于 2019 年开源，思路来自 2018 年 CVPR 论文提出的 CartoonGAN，作者在其基础上改用更轻量的生成器，并设计灰度风格损失、灰度对抗损失和颜色重建损失，以改善动漫化的视觉效果；初代发表时的问题包括生成画面中较明显的高频伪影^[2][3]。

AnimeGANv2 于 2020 年推出，官方归纳的改进方向有四点：解决生成图像中的高频伪影，使训练更容易、无需繁琐调参即可达到论文所述效果，进一步减少生成器参数，以及尽量采用来自蓝光影片的高质量风格数据。配套的风格数据集按作品统计为《起风了》1752 张、《你的名字》与《天气之子》1445 张、《红辣椒》1284 张，分辨率分别为 1080p、BD 与 BDRip，不同风格训练时使用的损失权重并不相同^[1]。

此后生态逐步扩展：2021 年 2 月 21 日发布 PyTorch 版本，由社区贡献者 bryandlee 完成权重转换，使模型可脱离 TensorFlow 1.x 环境运行^[1]。2021 年 11 月，基于 Gradio 的在线演示被部署到 Hugging Face Spaces，torch.hub 加载方式与面向肖像的 FacePortraitV2 权重也相继上线；2021 年 12 月 25 日，第三代 AnimeGANv3 发布，2022 年 8 月又补充了 Colab 运行入口^[1]。

应用

最常见的用途是把风景照、生活照和人像转成二次元画面，项目本身提供了推理脚本与视频转换脚本，可对单张图片或逐帧处理视频^[1]。由于人像需求旺盛，社区在原始风景权重之外另外训练了肖像专用权重，其中 FacePortraitV2 在清晰度与稳定性上相对前一版做了取舍，face2paint 之类的封装把裁剪、缩放与风格化合成一步完成。

模型也被第三方框架收录或改写，例如 PaddleGAN 将其作为照片动漫化的组件，提供配置化的训练与推理流程，支持在 Hayao、Paprika、Shinkai 等风格之间切换，并可换用自建数据集^[6]。因为体积小、可在 CPU 上运行，它常被用于本地工具、网页演示和轻量服务的原型验证。

局限

风格范围受训练数据限制。每一种预训练权重只对应一种目标画风，切换风格需要换用或重新训练模型，输出画风基本固定，模型本身不提供连续可调的风格强度参数。人像在原始模型中的表现也有限：初代训练用的真实照片以风景为主，作者建议若要处理人物照片，应在训练集中加入大量人像并重新训练，以获得更好的效果。

生成结果对输入条件较为敏感。作者指出，风格数据的整体亮度与色调会影响输出，不宜选用夜景动画作为风格来源，并需对风格数据做曝光补偿以统一明暗。人脸偏离正面、光照不佳或多人同框时，常出现细节失真、部分人脸未被处理等情况，通常需要借助人脸检测、对齐等前处理来缓解^[7]。

运行与用途方面同样存在约束。官方在线演示仅支持静态图片处理^[2]。项目许可证允许学术研究、教学和科学出版等非商业用途免费使用，商业使用需另行取得授权^[1]。此外，PyTorch 移植版本未包含训练代码，且因双线性上采样差异，转换权重的结果与原 TensorFlow 版本略有不同。

参见

• 生成对抗网络 —— AnimeGANv2 所依托的对抗训练框架。

• 风格迁移 —— 本词条所属的图像处理任务类别。

• CartoonGAN —— AnimeGAN 系列的直接改进来源。

• PaddleGAN —— 收录并改写 AnimeGANv2 的开源模型库。

• VGG —— 训练中用于提取感知特征与计算风格损失的预训练网络。