SDXL

定义

SDXL是一种用于文本到图像合成的潜在扩散模型(Latent Diffusion Model)，由Stability AI研发，是该机构稳定扩散(Stable Diffusion)系列的后续版本^[1]。模型以文本提示词为输入，输出对应内容的图像，原生分辨率为1024×1024像素^[2]。

按公开资料，SDXL通常由基础模型(Base)与精化模型(Refiner)两个检查点组成，二者可单独使用，也可组合成两阶段流程。其权重以CreativeML Open RAIL++-M许可协议发布。

原理

SDXL沿用潜在扩散范式：先用编码器把图像压缩到低维潜在空间，再在潜在空间中执行加噪与去噪过程，最后由解码器还原成像素图像^[1]。去噪网络采用UNet结构，SDXL的主干规模约为前代稳定扩散模型的3倍，参数增加主要来自更多注意力模块和更大的交叉注意力上下文^[1][3]。

文本侧采用双文本编码器，即OpenCLIP-ViT/G与CLIP-ViT/L并联，两路文本特征共同参与交叉注意力计算，从而扩大可承载的提示词语义容量^[4][2]。研究还引入了若干条件化方案，包括以图像尺寸和裁剪参数作为条件输入，并在多种纵横比上训练，以缓解小尺寸与异形构图下的失真^[1][3]。

在采样阶段，模型以分类器无关引导(Classifier-Free Guidance)控制提示词约束强度，常用引导系数约在7附近；负向提示词同样通过该机制起作用。若采用两阶段流程，基础模型先在高噪声区间完成大部分去噪，精化模型再接管低噪声的后段步骤，两者共用同一自编码器与文本编码器。

发展历程

2023年7月4日，Stability AI的研究团队提交论文《SDXL：改进高分辨率图像合成的潜在扩散模型》，作者包括Dustin Podell、Zion English、Robin Rombach等8人^[1][5]。该论文定位为稳定扩散系列的改进版本，并强调代码与模型权重对外开放，以提升训练与评估的透明度^[1]。

正式发布前，团队曾提供0.9版的检查点供研究使用，其中精化模型被说明为只适用于图像到图像任务，不宜直接当作文本到图像模型调用。随后发布的1.0版包含基础模型与精化模型两个权重文件，并在2023年夏季完成完整释出^[6]。

此后社区在基础模型之上衍生出多种变体，一类侧重特定画风或写实效果的检查点，另一类是面向少步数推理的蒸馏版本SDXL-Turbo，可在1至4步内完成出图^[2]。

应用

SDXL主要用于依据自然语言描述生成插图、场景与角色设计图，也被用于制作营销素材和视觉稿^[4]。除文生图外，同一权重也可用于图生图任务，通过调节去噪强度控制对原图的改动幅度^[7]。

在工程侧，SDXL被多家推理平台与云服务接入，既可通过界面交互使用，也可经接口批量调用^[4]。Hugging Face的diffusers库、ComfyUI等工作流工具均提供对SDXL基础模型与精化模型的加载支持，配合LoRA等适配器可做风格微调。

局限

SDXL并不具备指令跟随能力，提示词被当作待生成图像的描述而非对源图的修改命令，写成祈使句式的指令往往被字面理解，导致结果偏离预期^[7]。在纵横比偏离原生比例过多时，也容易出现主体重复、镜像重影等构图异常。

资源开销构成另一重限制。基础模型在FP16精度下文件约6至7GB，运行通常建议12GB以上显存，精化模型文件更大，显存需求更高，低配置设备需借助注意力切分等优化手段^[8][9]。采样步数增加带来的质量增益存在边际递减，步数提高到50步以上时改善已不明显^[9]。

参数配置方面，SDXL不提供稳定扩散1.x中常用的clip skip选项，其双文本编码器结构使该参数的原有含义不再适用。生成速度与质量的权衡也较明显：1024×1024分辨率下单图通常需十余秒至数十秒，蒸馏变体虽可提速但需改用低引导系数与极少步数的设置。

参见

• Stable Diffusion —— SDXL所属的文本到图像模型系列，本词条是其升级版本。

• 潜在扩散模型 —— SDXL所采用的技术范式，在低维潜在空间中执行扩散与去噪。

• UNet —— SDXL的去噪网络主干结构，规模为前代稳定扩散模型的3倍。

• CLIP —— 提供文本与图像联合表征的编码器，SDXL以双编码器方式使用。

• LoRA —— 常用于在SDXL基础上做轻量风格微调的适配器方法。

• 分类器无关引导 —— 控制生成结果对提示词贴合程度的采样技术。