DeepFloyd IF
定义
DeepFloyd IF 是一种模块化、级联式的像素扩散模型，用于依据自然语言提示生成图像[1]。其整体结构可拆成两部分：一个保持参数不变的文本编码器，以及若干在不同分辨率上分别训练的扩散网络[2]。相较只做一次去噪的常规扩散模型，它在同一张图上连续执行多轮扩散，分辨率由低到高逐步抬升。
第二段：该模型沿用 2022 年提出的 Imagen 的级联思路，被视为把这一路线以开源形式复现的尝试之一[4]。与多数在主流的稳定扩散等潜空间模型不同，IF 直接在像素空间上完成扩散，训练与推理都不经过用于压缩的变分自编码器[3]。
原理
文本侧使用 T5-XXL-1.1 作为编码器，负责把提示词转换成向量序列；各个扩散阶段都共享这一编码器的输出[1]。由于编码器本身是一个参数量很大的语言模型，模型对长句、属性组合和空间关系的解析能力较强。图像侧采用带有交叉注意力和注意力池化的 U-Net，在每个去噪步骤中把文本向量注入图像特征[2]。
级联过程分 3 段：阶段一输出 64×64 的基础图，阶段二将其放大到 256×256，阶段三再提升至 1024×1024[2]。后两个阶段本质上是条件超分辨率模型，会同时参考低分辨率输入与提示词，因此能在放大过程中继续调整纹理和细节[1]。官方公开的权重按规模分为 IF-I-M、IF-I-L、IF-I-XL 等，其中 IF-I-XL 含 43 亿参数，在 COCO 数据集上的零样本 FID 为 6.66[5]。
同一组权重也可用于其他任务：把输入图缩到 64 像素、加噪后用新提示词重新去噪，即可实现零样本的图像到图像转换，改动幅度由提示词与超分辨率阶段共同决定[1]。扩散库 Diffusers 为其提供了文生图、图生图、超分辨率与局部重绘等多条流水线接口，三个阶段可以分别加载和单独检视[6]。
发展历程
DeepFloyd 是 Stability AI 支持的多模态研究团队，IF 的名称取自其研究方向。2023 年 4 月下旬，相关代码仓库开始出现提交记录，随后 Stability AI 与 DeepFloyd 共同宣布该模型以研究许可方式发布[7][1]。当时的许可禁止商业使用，官方表示后续计划转为完全开源的宽松许可[1]。
训练数据取自 LAION-5B 中经过筛选的英文审美子集 LAION-A，规模约 10 亿组图文对，并剔除了带水印与不适宜内容[1]。有报道称训练所用图文对约为 12 亿组，与官方口径略有差异[2]。发布后不久，Hugging Face 的 Diffusers 库即完成集成，并通过模型分段与 CPU 卸载把整条流水线的显存需求压到约 14 GB[5]。
生成式艺术平台 NightCafe 曾获得早期访问权限，其负责人在采访中提到 IF 的设计大量参考了未公开的 Imagen，并把图像内可读文字的生成视为该模型最显著的突破。此后研究界多把 IF 当作像素空间级联扩散的代表性基线，用于与潜空间模型对照实验[8]。
应用
在文生图之外，IF 的官方代码库给出 4 种基本用法：文本生成图像、零样本风格迁移、条件超分辨率与零样本局部重绘[5]。超分辨率模块也可用于并非由 IF 生成的图像，此时作为通用放大工具串联 2 次，逐级放大输入图片[9]。
由于能在画面中较准确地排布文字，该模型被用于海报、标识、界面原型等需要文字与图形同时出现的生成任务。官方还把艺术创作、设计、叙事、虚拟现实与无障碍等方向列为潜在应用场景[1]。在学术研究中，它常被用作评估文本理解与文字渲染能力的对照模型[8]。
局限
像素空间扩散的计算量随像素数量增长，再叠加 3 段级联，使 IF 的推理速度明显慢于同期的潜空间模型，对显存的要求也更高[3]。官方测试条件显示，运行 IF-I-XL 与 IF-II-L 约需 16 GB 显存，再加上放大到 1024×1024 的模块则约需 24 GB[5]。有使用方评价其基础模型的画面美观程度不及部分潜空间扩散模型。
在需要精确指定多个物体及其数量时，模型的表现并不稳定；相关评测显示，提示中出现 3 个及以上物体时，靠后出现的对象被画出的概率明显下降[10]。文字生成虽是其长项，但仍有同期工作报告在 OCR 准确率等指标上取得更好结果[8]。此外，最初的研究许可限制商业使用，也影响了它在产品中的推广[3]。
参见
-
Imagen —— IF 的级联架构所参照的像素扩散模型。
-
稳定扩散 —— 同期采用潜空间扩散路线的文本到图像模型。
-
T5 —— IF 各阶段共享使用的文本编码器基础模型。
-
扩散模型 —— IF 各模块所依据的生成式建模框架。
-
Hugging Face —— 提供 IF 权重托管与 Diffusers 集成接口的平台。
-
Stability AI —— 支持 DeepFloyd 团队并发布 IF 的机构。
参考资料
- deepfloyd-if-text-to-image-model [引用日期2026-10-29]
- **DeepFloyd IF (IF)** (https://github [引用日期2026-10-29]
- DeepFloyd IF [引用日期2026-10-29]
- The Decoder — Press Articles — Stability AI [引用日期2026-10-29]
- deepfloyd-if - IF by DeepFloyd Lab at StabilityAI [引用日期2026-10-29]
- DeepFloyd IF - Diffusers documentation [引用日期2026-10-29]
- JohnJBoren/IF · GitHub [引用日期2026-10-29]
- 8951bbdcf234132bcce680825e7cb354-Paper-Conference(PDF) [引用日期2026-10-29]
- json [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]