Animagine XL 3.1

定义

Animagine XL 3.1是一个基于扩散模型的动漫风格文本到图像生成模型,输入用英文标签写成的提示词,输出1024像素级别的动漫插画^[1][3]。开发方把它的模型类型登记为基于扩散(diffusion)的文本生成图像模型,并以开放权重的方式在模型托管平台上发布^[1]。

它并非从零训练的基础模型,而是以Stable Diffusion XL为底座、在上一代Animagine XL 3.0的基础上微调得到的衍生权重,属于SDXL生态中的二次元微调模型^[1]。也因此,任何支持SDXL管线的工具,例如Diffusers、ComfyUI与Automatic1111 WebUI,都可以加载这一权重^[2]。

原理

模型采用扩散生成方式:文本提示先由文本编码器转为条件向量,再引导U-Net在潜空间中从随机噪声逐步去噪,最后由VAE解码为像素图像^[1]。生成时还可提供负向提示词,把低分辨率、水印、错误文字、多余手指等特征从结果中推开^[1]。

开发方推荐以丹波尔(Danbooru)风格的标签而非自然语言句子书写提示词,并遵循固定的标签顺序:先写画面中人物数量(1girl或1boy),再写角色名,再写作品名,其余标签顺序不限^[1]。这种顺序来源于训练数据的组织方式,提示词顺序会明显影响生成结果。

除内容标签外,模型还接受几类特殊标签用于调节结果。画质标签按分数阈值划分,例如masterpiece对应高于95%的分数,best quality对应85%至95%之间,great quality对应75%至85%之间,依次下延至worst quality^[1]。评级标签以safe、sensitive、nsfw、explicit表达内容尺度,年代标签以newest、recent、mid、early、oldest分别对应2021至2024年、2018至2020年、2015至2017年、2011至2014年、2005至2010年的画风区间^[1]。

本版新增的美学标签由专门的视觉Transformer(ViT)图像分类模型对图像打分后得到,该分类模型在动漫数据上训练。分数高于0.71记为very aesthetic,0.45至0.71之间记为aesthetic,0.27至0.45之间记为displeasing,不高于0.27记为very displeasing,这些标签可与画质标签搭配使用以引导结果^[1]。

官方给出的采样参数建议是:分类器自由引导(CFG Scale)取5至7,采样步数低于30,采样器选用Euler Ancestral,正向提示词前可加上masterpiece、best quality、very aesthetic、absurdres等标签^[1]。模型支持多种宽高组合,包括1024×1024、1152×896、1216×832、1344×768与1536×640等,分别对应1:1、9:7、19:13、7:4与12:5等比例^[1]。

发展历程

Animagine系列由Cagliostro Research Lab开发,该团队以动漫题材的开源生成模型为主要方向^[2]。3.1版本是V3系列中的一次迭代,承接2024年较早发布的Animagine XL 3.0,开发方称其为3.0的直接延续,并采用增量学习的方式以便较频繁地更新。

据开发方公告,3.1版本于2024年3月18日发布。在公告中,开发团队回顾了上一版的三个问题:画质标签分布不均衡、多GPU训练时分布式数据并行(DDP)导致梯度不同步,以及由此产生的画面过曝与倾向露骨内容的现象,3.1版本针对这些方面做了调整。

训练资源方面,3.1以2块80GB显存的A100显卡在Runpod上进行预训练,使用约87万张经过排序和打标的图像,训练历时约15天,累计超过350个GPU小时^[1]。流程分三段:先做预训练扩充模型知识,再进行两阶段微调,分别用于修复预训练后受损的U-Net、改善美术风格与手部和人体结构的绘制^[1]。

数据范围上,3.0主要补充了抽卡游戏角色,3.1则加入更多知名动画作品,使模型对不同年代与类型作品的识别与再现更为广泛^[2]。这次训练由海艺AI(SeaArt)提供算力支持,权重也在海艺与Hugging Face等平台先行上线^[2]。

应用

模型的主要用途是根据文字描述生成动漫角色插画,能够输出指定角色、作品出处与画面构成的图像,面向动漫爱好者、插画作者与内容创作者^[1]。由于采用标签化提示,它也被用于批量生成与风格统一的系列图像,例如同一角色在不同年代画风下的表现^[1]。

在部署形态上,权重可直接通过Diffusers库加载运行,也出现在Replicate等模型托管与推理服务的模型清单中,还被转换为Core ML与ONNX格式以便在不同运行环境中使用^[3][4][5]。海艺AI则在合作发布后将其作为平台上的模型提供给用户运行。

在使用方式上,它也常作为二次微调的底模,社区在其上训练LoRA等小型适配权重,以扩展特定角色、画风或题材的生成能力^[2]。

局限

开发方在模型说明中列出的第一条局限是适用范围:模型专为动漫风格设计,不适用于生成写实照片^[1]。它也不适合期望用简短、笼统的提示词就得到高质量结果的用户,因为训练重点在于概念理解而非美学打磨,往往需要更详细具体的提示词^[1]。

提示词的书写形式本身构成使用门槛:模型针对丹波尔风格的标签做过优化,用自然语言句子描述的效果通常不如结构化标签,使用者需要按特定的标签语法组织输入^[1]。此外,尽管本版在人体结构和手部绘制上有所改善,仍可能出现手指数量错误、肢体比例异常等不理想的输出^[1]。

数据规模也是开发方自述的短板:3.1的训练集约87万张图像,加上上一版的约120万张,累计约210万张,开发方认为这一体量对于一个追求全面覆盖的动漫模型而言仍属有限^[1]。内容尺度方面,模型被设计为能够生成比例更均衡的各类内容,但即使在未被明确要求的情况下也可能产生NSFW结果^[1]。

授权条款在不同平台上记载不一致:部分镜像页面标注为Fair AI Public License 1.0-SD,而Hugging Face上的现行模型页与模型卡标注为CreativeML Open RAIL++-M,并说明该许可取代此前使用过的社区许可标签,以与上游SDXL生态保持兼容^[6][1]。使用者在再利用该权重前需要核对实际情况^[1]。

参见

• Stable Diffusion XL —— Animagine XL 3.1所基于的底层文生图模型架构。

• 扩散模型 —— 本模型生成图像所依赖的生成式建模方法。

• 文生图 —— 本词条所属的任务类型,由文本提示生成图像。

• LoRA —— 常在该模型权重上训练的轻量化微调方法。

• 提示词工程 —— 涉及标签顺序、负向提示词与画质标签的输入组织方式。