Stable Diffusion

定义

Stable Diffusion 是一类深度学习模型，输入一段文字描述后输出与之对应的图像，也可用于图生图变换、图像修补(inpainting)与画布外扩(outpainting)等任务^[4]。它属于潜空间扩散模型(latent diffusion model)，即先在压缩后的潜空间里完成去噪，再解码回像素的生成网络^[2]。其源代码与预训练权重公开可下载，这是它与 DALL·E、Midjourney 等只能通过云端服务调用的模型的重要区别^[4]。

「Stable Diffusion」也是一系列模型的统称：从最初的 1.x 到 2.x、SDXL，再到改用 Transformer 结构的 3.x，都属于这一名称下的迭代版本^[5]。原始版本由慕尼黑大学 CompVis 组与 Runway 的 Robin Rombach、Patrick Esser 等研究者完成，技术许可由 CompVis 发布，Stability AI 承担了训练所需的算力并推动其公开^[4]。

原理

Stable Diffusion 的架构由三部分组成：变分自编码器(VAE)、改进的 U-Net 和一个文本编码器^[2]。VAE 编码器把 $H\times W\times 3$ 的彩色图像压成 $H/8\times W/8\times 4$ 的潜变量张量，作为扩散过程的起点^[6]。在潜空间上逐步加入高斯噪声，再让 U-Net 反向预测并扣除噪声，最后由 VAE 解码器还原为像素图像^[2]。

文本条件通过交叉注意力(cross-attention)注入去噪网络：提示词经预训练的 CLIP ViT-L/14 文本编码器映射为嵌入向量，非池化输出送入 U-Net 的交叉注意力层^[6]。训练目标是让 U-Net 预测出加到潜变量上的噪声，损失即该噪声与预测值之间的重构误差^[6]。由于扩散在压缩表示上进行，一次前向计算处理的数据量远小于在像素空间里做同样的事，论文报告其在图像修补、类条件生成等任务上取得较好成绩，同时显著降低了相对像素级扩散模型的计算需求^[7]。

以文本生成为例，整个推理流程可以概括为下表所示的三段式结构。

$\text{提示词}\rightarrow \text{文本编码器}\rightarrow \text{嵌入向量}$ 与随机潜噪声一同进入 U-Net 去噪循环，去噪完成的潜变量再交给 VAE 解码器输出成图^[2]。采样器与采样步数决定去噪的调度方式，常见配置会在 20 至 50 步之间权衡速度与质量。图生图任务则先把输入图像编码为潜变量，从部分加噪的状态开始去噪，从而在保留原图结构的前提下按提示词修改内容。

flowchart LR

P[提示词] --> T[文本编码器 CLIP]

T --> E[文本嵌入]

N[随机潜噪声] --> U[U-Net 去噪循环]

E --> U

U --> L[去噪后潜变量]

L --> D[VAE 解码器]

D --> I[输出图像]

发展历程

其技术基础是 2021 年 12 月上传到预印本平台的论文《High-Resolution Image Synthesis with Latent Diffusion Models》，该文于 2022 年在计算机视觉与模式识别会议(CVPR)上报告，提出在预训练自编码器的潜空间中训练扩散模型^[7]。基于该架构的 1.1 至 1.4 版本由 CompVis 于 2022 年 8 月陆续放出，早期 checkpoint 先在 256×256 分辨率上训练，再转到 512×512，并逐步引入美学评分筛选的数据子集^[6]。

2022 年 8 月 22 日，Stability AI 宣布公开发布该模型，并与 Hugging Face 团队合作以 CreativeML OpenRAIL-M 许可释出权重，允许商用与非商用^[8]。同年 10 月，RunwayML 发布了 1.5 版本^[2]。11 月 24 日发布的 2.0 改用 OpenCLIP 文本编码器，默认分辨率扩展到 512×512 与 768×768，并附带 4 倍超分辨率、深度引导生成和更新后的修补模型^[5]。

2023 年 7 月 26 日，Stability AI 推出 Stable Diffusion XL 1.0，基础模型约 35 亿参数，配合精修(refiner)模块整体约 66 亿参数，使用 OpenCLIP-ViT/G 与 CLIP-ViT/L 两个文本编码器，原生支持 1024×1024 输出^[5]。2024 年 2 月 22 日，Stability AI 放出 Stable Diffusion 3 的早期预览，改用多模态扩散 Transformer(MMDiT)与改进的 Rectified Flow 流匹配，并提供 8 亿至 80 亿参数的多个规模，其中 20 亿参数的 Medium 版本于同年 6 月开源^[9]。

围绕原始模型，社区还发展出大量衍生工具。AUTOMATIC1111 的网页界面让非程序员也能本地使用模型，ComfyUI 以节点图方式编排生成流程，ControlNet 通过边缘图、深度图、姿态骨架等条件实现精细的空间控制，LoRA 则提供了低成本微调手段^[3]。这些项目分别以 AGPLv3、GPLv3、Apache-2.0 等许可证发布^[10]。

应用

最直接的用途是依据文字描述生成插图、概念设计与写实图像，用户可以在本地部署，也可以通过 DreamStudio、Clipdrop 等云端界面使用^[1]。在图生图模式下，模型以一张已有图像为基础生成变体；修补模式用于重绘画面中指定区域；外扩模式则向画面边界之外延展内容^[5]。

Stability AI 在 2.0 版本中同时提供了深度引导的图像生成模型，可从深度信息约束构图，配合 4 倍超分辨率模型提升输出分辨率^[5]。借助 LoRA 微调，使用者可以用少量样本把特定风格、角色或物体绑定到可复用的权重文件上，这类文件在模型社区中被广泛分享^[3]。纯 C/C++ 实现的推理程序则让模型可以在 CPU、Mac 等非 CUDA 环境中运行，并支持 GGUF 等量化权重格式^[11]。

研究领域把该模型用作生成图像的来源与分析对象。有研究以 10 个来自模型社区的版本为样本，考察其对不同提示词的输出内容与表现偏差^[12]；也有研究利用其生成图像，分析医学与社会议题在合成影像中呈现的视觉套路^[13]。

局限

模型的官方模型卡列出了一系列能力边界：不能获得完全的照片级真实感，难以渲染清晰可读的文字，人脸与人体可能出现生成错误，涉及“红色立方体在蓝色球体之上”这类组合关系的任务表现较弱，且自编码部分是有损的^[6]。1.x 版本主要使用英文描述训练，非英文提示词的效果明显较差^[6]。SDXL 在人体解剖结构与可读文字方面有所改善，但手指等细节仍可能出错^[14]。

训练数据来自大规模图文对数据集，1.x 版本主要基于 LAION-2B(en) 及其子集，其中图像以英文描述为主，其他语言与文化的内容覆盖不足，输出因此常以欧美文化为默认^[6]。数据集未做完全去重，对训练集中重复出现的图像存在一定程度的记忆现象^[6]。官方也指出模型可能放大社会偏见，并建议配合安全检查模块使用^[6]。

许可协议带有使用限制。CreativeML OpenRAIL-M 允许使用、修改与再分发，但要求沿用同一许可并附上原许可副本，同时对若干用途设定了禁止条款^[15]。许可声明生成内容的权利归使用者，但使用者需对其输出及后续使用负责^[16]。围绕训练数据中他人作品的使用，学界与业界存在关于署名、报酬与再创作的持续讨论^[17]。

由于权重可自由下载并在本地运行，模型缺少服务端的输入过滤与拒答机制，开放模型的滥用风险与内容治理难度高于仅提供接口的闭源服务^[12]。上述研究同时提示，训练数据中的不平衡会传导到输出，对不同群体的描绘可能呈现系统性偏斜^[12]。

参见

• 潜空间扩散模型 —— Stable Diffusion 所基于的生成模型架构。

• 变分自编码器 —— 负责在像素与潜空间之间来回压缩和解码的组件。

• CLIP —— 提供文本嵌入、把提示词语义注入去噪网络的文本编码器来源。

• U-Net —— 承担逐步去噪任务的卷积网络主干。

• ControlNet —— 在原模型上增加空间条件控制的扩展。

• LoRA —— 以低秩适配方式对模型进行轻量微调的技术。