Stable Diffusion v1.5
Stable Diffusion v1.5是Stable Diffusion(潜在扩散文生图模型)的一个检查点版本,由Robin Rombach与Patrick Esser在RunwayML等机构协作下发布。它以Stable Diffusion v1.2的权重为起点,在“laion-aesthetics v2 5+”子集上以512×512分辨率继续微调595000步,并采用丢弃10%文本条件的训练策略以改善无分类器引导采样效果[1][2]。该版本沿用了潜在扩散架构与CLIP ViT-L/14文本编码器,权重按CreativeML OpenRAIL M许可开放,成为社区微调与二次开发中被广泛使用的基础模型[3][4]。
定义
Stable Diffusion v1.5是Stable Diffusion系列中编号为1.5的模型检查点,属于以文本提示为条件、在潜在空间中进行去噪的文本到图像生成模型[1]。它并非独立的软件产品,而是一组可下载的模型权重,配合Diffusers库、ComfyUI、Automatic1111、SD.Next、InvokeAI等推理工具使用[5]。
该检查点提供两种主要权重文件:仅含指数滑动平均(EMA)参数的版本体积较小,适合推理;同时含EMA与非EMA参数的完整版本体积较大,适合继续微调[1]。模型卡注明其开发者为Robin Rombach与Patrick Esser,模型类型为基于扩散的文生图模型[1]。其权重最初以“runwayml/stable-diffusion-v1-5”的名义在Hugging Face上公开,后该页面被撤下,社区以归档形式重新上传并注明该模型来自2022年[2]。
原理
该模型采用潜在扩散(latent diffusion)结构,把一个自编码器与在自编码器潜在空间内训练的扩散模型结合起来[1]。图像经编码器压缩为潜在表示,相对降采样倍数为8,即把形状为$H \times W \times 3$的图像映射为$\frac{H}{8} \times \frac{W}{8} \times 4$的潜变量[5]。
文本提示由固定的预训练CLIP ViT-L/14文本编码器编码,其非池化输出通过交叉注意力注入潜在扩散模型的U-Net主干[1]。训练目标是重建目标:U-Net预测加在潜变量上的噪声,损失衡量预测噪声与真实噪声之间的差异[5]。
生成时,模型从随机噪声出发,在采样器引导下逐步去噪,最后由自编码器解码回像素图像。参考采样脚本默认使用7.5的引导尺度、50步采样,输出512×512的图像[6]。v1系列各版本的推理配置均针对仅含EMA参数的检查点设计[7]。
发展历程
2022年,Stability AI、Runway与慕尼黑大学CompVis团队联合发布了Stable Diffusion模型,并公开了代码与权重;v1.5是这一代模型中被广泛使用的版本之一[4]。在v1系列的训练链条中,v1.1先在laion2B-en上以256×256分辨率训练237000步,再在laion-high-resolution上以512×512训练194000步;v1.2从v1.1继续训练515000步[5]。
v1.3与v1.4同样从v1.2续训,步数分别为195000步和225000步,后者首次使用“laion-aesthetics v2 5+”子集[5]。v1.5选择从v1.2而非v1.4继续,在同一子集上训练595000步,是v1系列中该阶段训练步数最多的版本[1]。在v1.5之后,官方还发布了从v1.5续训440000步的图像修复(inpainting)检查点[6]。
训练在32台各含8块A100 GPU的机器上进行,优化器为AdamW,梯度累积2次,批量规模为2048,学习率在10000步内预热至0.0001后保持不变[8]。评估使用COCO2017验证集的10000条随机提示、50步PLMS采样,在512×512分辨率下比较不同无分类器引导尺度下各检查点的相对提升[1]。
应用
最基本的用法是文生图:输入一段描述性提示词,由txt2img流程输出图像。除提示词外,脚本还提供采样类型、输出尺寸、随机种子等参数;同一随机种子可复现同一结果,推理步数越高耗时越长,步数过低则可能出现视觉缺陷[9]。
借助SDEdit提出的扩散去噪机制,模型也可用于文本引导的图生图与放大等任务[6]。图生图流程接收原图与0.0至1.0之间的强度值,强度越高,输出相对原图的变化越大[9]。
基于v1.5续训的图像修复检查点可以做文本引导的擦除与替换;其U-Net在原有输入之外增加了5个输入通道(4个用于编码后的掩码图像,1个用于掩码本身)[7]。社区前端实现还常用掩码实现局部重绘(inpainting),或把画面扩展到原图尺寸之外(outpainting)[9]。
参考采样脚本内置安全检查模块以降低生成露骨内容的概率,并对输出嵌入不可见水印,便于识别图像由机器生成;水印在图像被缩放或旋转后会失效[9]。模型卡将生成艺术作品、用于设计与艺术创作流程、教育或创意工具以及生成模型研究列为预期用途。
局限
模型卡列出的局限包括:无法达到完美的照片级真实感,不能渲染清晰可读的文字,对涉及组合关系的较难任务表现不佳,例如生成“一个红立方体放在蓝球上方”这样符合描述的图像,人脸和人物也常常生成不正确。
该模型主要以英文描述训练,在其他语言上的效果较差;自编码部分是有损的,训练数据未做去重,因此对重复出现的图像存在一定程度的记忆。模型卡还指出,模型并非为如实再现人物或事件而训练,将其用于此类内容是超出其能力范围的。
由于训练数据规模庞大且包含成人内容,发布方认为在没有附加安全机制的情况下不适合直接用于产品或服务,并将权重定位为研究产物[6]。其许可虽允许商业使用,但包含基于用途的限制条款[6]。此外,该模型来自2022年,在代际上已落后于后续多个版本,现多以归档形式保存以供技术测试与兼容用途[2]。
参见
参考资料
- README [引用日期2026-10-29]
- README [引用日期2026-10-29]
- stable-diffusion-v1.5 [引用日期2026-10-29]
- amazon.com 上的网页 [引用日期2026-10-29]
- stable-diffusion-v1-5 [引用日期2026-10-29]
- scrypt-kitty/stable-diffusion-v1-5 · GitHub [引用日期2026-10-29]
- runwayml__stable-diffusion [引用日期2026-10-29]
- stable-diffusion-v1-5 [引用日期2026-10-29]
- Stable Diffusion [引用日期2026-10-29]