FLUX Fill

义项:FLUX Fill图像修复模型
FLUX Fill

FLUX Fill是德国黑森林实验室(Black Forest Labs)于2024年11月21日随FLUX.1 Tools工具包发布的图像修复与扩展模型[1],可按文字描述和二值掩码对真实或生成图像进行局部重绘(内补)与画面外扩(外扩)[2]。模型提供通过API调用的商用版本FLUX.1 Fill [pro]与开放权重的FLUX.1 Fill [dev],后者为120亿参数的整流流Transformer。它是FLUX.1文生图模型体系中的编辑类专用分支,被用于物件替换、文字改写和画面构图调整等任务[3]。

目录
  1. 定义
  2. 原理
  3. 发展历程
  4. 应用
  5. 局限
  6. 参见

定义

FLUX Fill是黑森林实验室开发的一类条件图像生成模型,专门处理图像中被遮罩选中的区域或原图边界之外的空白区域;它接收一张原始图像、一张与图像同尺寸的黑白掩码以及一段文字提示,随后在掩码范围内生成新内容[2]。掩码的约定是黑色部分保持原样、白色部分需要重新生成;若使用带透明通道的PNG或WebP文件,透明区域被重绘而不透明区域保留,可省去单独上传掩码文件[2]。

它与常规文生图模型的区别在于输入中包含待保留的像素,因此生成结果要与周围纹理、光照、透视和风格衔接,官方文档把这种要求描述为在改动局部的同时维持上下文一致[2]。模型分为闭源的pro版本和开放权重的dev版本,两者共用同一套掩码加提示的调用方式[1]。

原理

FLUX.1 Fill [dev]是参数量约120亿的整流流Transformer,其基础结构延续FLUX.1系列的多模态与并行扩散Transformer块、流匹配目标、旋转位置嵌入与并行注意力层设计。与逐渐加噪再逐步去噪的经典扩散采样不同,流匹配把生成过程建模为从噪声潜变量到图像潜变量的一条近似直线的速度场积分,模型在每个时刻预测该速度,采样器沿线逐步积分得到结果[4]。

在修复任务中,被遮罩的图像经过变分自编码器编码后作为条件与文字提示一同送入网络,模型据此在指定区域生成与未遮罩部分相容的潜表示,再解码为像素图像[4]。文字条件来自两路编码器:T5-XXL负责较长的上下文语义,CLIP-L提供全局风格向量,两者拼合后与时间步嵌入、引导强度嵌入一起调制各层[4]。

推理时可调参数包括采样步数、引导强度、随机种子与提示词扩写开关;以其API为例,步数取值范围为15至50,引导强度取值范围为1.5至100,引导强度越高越贴近提示词但可能牺牲画面质量。dev版本训练时采用了引导蒸馏,因而在较少采样步数下即可得到相对稳定的结果。

发展历程

2024年8月1日,黑森林实验室公布FLUX.1系列,包含pro、dev和schnell三个版本,官方将其描述为混合架构、规模约120亿参数,采用流匹配、旋转位置嵌入与并行注意力[5]。这一系列构成后续编辑类模型的基础[1]。

2024年11月21日,黑森林实验室发布FLUX.1 Tools工具包,把Fill与Depth、Canny、Redux并列为4项能力,目标是给基础文生图模型增加可控性与可引导性,使其能够修改真实的与生成出来的图像[1]。发布方式为双轨:每项工具都以FLUX.1 [pro]变体的形式进入BFL API,同时以引导蒸馏的开放权重FLUX.1 [dev]变体提供推理代码与权重[1]。

官方同期公布的基准显示,FLUX.1 Fill [pro]在对比的修复方法中成绩最好,FLUX.1 Fill [dev]次之,并且超过若干闭源方案而推理效率更高;对比对象包括Ideogram 2.0与社区开源的FLUX-Controlnet-Inpainting[1]。dev版本的完整权重托管于Hugging Face,推理代码托管于GitHub,采用FLUX.1 [dev]非商业许可。第三方模型托管平台Replicate则在发布当日上线了对应的pro版本接口[3]。

发布之后,图像生成前端ComfyUI在首日即支持FLUX.1 Fill [dev],用户需准备clip_l与t5xxl文本编码器权重以及flux1-fill-dev模型文件,并可调用内置的内补与外扩示例工作流[6]。diffusers库亦提供FluxFillPipeline接口,可在本地加载开放权重执行内补。

应用

最常见用法是内补:遮住衣物、招牌文字或场景中不需要的物体,再以提示词指定新内容,模型在保留其余像素的前提下重绘该区域[2]。官方文档给出的示例之一就是把电影海报上的原有标题改为“FLUX PILL”,说明其在指定位置替换并重排文字的能力[2]。

第二种用法是外扩:在原图边界之外补充新像素,从而扩大画幅、提高有效分辨率或改变宽高比,使同一画面适配不同尺寸的展示位[2]。第三方接口为此设置了专门的扩展参数,启用后掩码会被忽略,改由模型按目标画幅续画。

在工程实践中,该模型常被接入生成式绘图工作流,作为文生图之后的编辑环节;ComfyUI的集成方式即以工作流节点把图像、掩码与提示词三者送入模型[6]。开发者也可以通过官方API或第三方托管平台以异步任务方式提交请求,轮询获取结果[2]。

局限

模型产出质量与提示词写法关系密切,官方模型卡把这一点列为已知限制:它可能生成与提示不符的结果,提示词的风格会明显影响服从程度。此外,未被遮罩的区域也可能出现轻微色彩偏移,而在填充复杂纹理时,填充区边缘容易产生可见接缝线。

作为统计模型,它可能放大训练数据中存在的社会偏见,设计上也不用于提供事实性信息,因此不适合当作知识问答或事实核查工具。开放权重版本附带使用范围限制,禁止用于违法用途、生成可验证的虚假信息以及可能伤害他人的个人身份信息等场景。

在许可层面,FLUX.1 Fill [dev]的权重按FLUX.1 [dev]非商业许可分发,模型生成的产出可用于个人、科研与商业用途,但权重本身的商业部署受到限制;FLUX.1 Fill [pro]为专有模型,只能经由服务商的产品与接口条款使用[7]。此外,掩码需与输入图像尺寸一致,接口在提交时会校验两者尺寸,尺寸不匹配的请求无法通过[2]。

参见

  • 黑森林实验室 —— 开发并发布FLUX Fill的机构。

  • FLUX.1 —— FLUX Fill所属的基础文生图模型系列。

  • 图像修复 —— FLUX Fill所执行的内补任务所属的技术类别。

  • 掩码 —— 指定图像中需要重绘区域的黑白或透明通道图。

  • 流匹配 —— FLUX Fill所基于的生成建模方法。

  • 扩散模型 —— FLUX系列在架构与采样上参照的生成模型范式。

参考资料

  1. Introducing FLUX.1 Tools [引用日期2026-10-29]
  2. FLUX.1 Fill [pro] - Black Forest Labs [引用日期2026-10-29]
  3. flux-tools [引用日期2026-10-29]
  4. flux_architecture [引用日期2026-10-29]
  5. FLUX models: FLUX.1 and FLUX.2 compared [引用日期2026-10-29]
  6. Day 1 Support for Flux Tools in ComfyUI [引用日期2026-10-29]
  7. flux-fill [引用日期2026-10-29]
词条评价
词条统计

浏览次数:1 次

阅读量:0 次 · 阅读完成量:0 次

最近更新:2026-10-28T18:28:05Z

历史版本

本条目引用的词条
黑森林实验室 FLUX.1 图像修复 掩码 流匹配 扩散模型