ComfyUI

定义

ComfyUI 是一个开源、基于节点的程序，用户通过串联一系列文本提示与处理步骤来生成图像。^[1] 它以 Stable Diffusion、Flux 等扩散模型作为图像能力的基础模型，并把 ControlNet、LoRA 等辅助工具也做成程序中的一个节点。^[1]

该软件同时包含 Web 前端与 Python 后端，可在 Windows、Linux 和 macOS 上运行，支持 NVIDIA、AMD、Intel、Apple Silicon 等不同硬件架构。^[2] 其代码以 GPLv3 许可证发布，默认完全离线工作，核心部分不会主动下载任何内容。^[2]

原理

ComfyUI 把生成流程表示为一张有向无环图。每个节点承担单一功能，例如加载检查点、用 CLIP 编码提示词、配置采样器、通过 VAE 解码潜在表示，节点之间用连线传递数据。^[3] 基础文生图工作流通常只有 4 至 6 个节点，加入放大、ControlNet 引导或多模型后常常增至数十个。^[4]

生成过程的核心是扩散采样。系统先在潜空间中采样一个符合高斯分布的张量，再由 KSampler 一类节点依据模型逐轮去噪，最后解码为像素图像。 采样算法可选 Euler、DPM++ 等多种，调度器与去噪步数均可单独调节。

在后端执行时，ComfyUI 会对节点图做拓扑排序，并只重新计算发生变化的部分，未改动分支的缓存结果直接复用。^[3] 内存管理方面，它可以在显存不足时把模型权重在显卡与内存之间调度，官方文档称借助智能卸载可在低至 1GB 显存的 GPU 上运行大型模型。^[2] 由于模型默认在潜空间而非像素空间运算，这也是其显存占用相对较低的原因之一。^[5]

工作流以 JSON 格式保存，也可以写进生成图像的元数据里，因此把一张图片拖回界面即可还原当时的完整流程与种子参数。^[2] 除界面操作外，后端本身也提供接口，可被其他程序调用。^[6]

发展历程

ComfyUI 的作者网名为 comfyanonymous，其代码于 2023 年 1 月 1 日开始编写，首个版本在 2023 年 1 月 16 日发布于 GitHub。^[3] 作者此前使用过表单式的界面工具，认为其在尝试更换采样器、串联放大流程等高级改动时受到限制，因而希望做出一款把扩散流程内部结构全部暴露出来的工具。^[3]

作者在 2023 年前后与 Stability AI 有过一段合作，至 2024 年 6 月 3 日该合作结束。^[1] 2024 年 6 月 21 日，Comfy Org 作为专门维护该项目的组织正式成立。^[3] 2024 年 7 月，英伟达宣布在其 RTX Remix 模组工具中支持 ComfyUI；同年 8 月，软件加入对 Black Forest Labs 开发的 Flux 扩散模型的支持，Comfy Org 也加入了由 Linux 基金会发起的 Open Model Initiative。^[1]

据百度百科相关条目介绍，2024 年 10 月 21 日，ComfyUI 推出跨平台桌面版应用，提供一键安装、自动更新和新的用户界面；2025 年 2 月 17 日，其引入新的界面设计，优化了顶部菜单栏，并支持模型库和工作流程浏览器。 截至 2024 年 12 月，程序内置的节点类型已达 1674 种。^[1]

应用

ComfyUI 最常见的用途是文生图与图生图，用户可以加载 LoRA、嵌入向量等来调整输出风格，并通过 ControlNet 与 T2I-Adapter 对生成内容的结构加以约束。^[2] 它也支持局部重绘、区域构图、模型合并、两段式高分辨率生成，以及使用 ESRGAN、SwinIR 等模型进行放大。^[2]

除静态图像外，ComfyUI 还能运行视频生成模型，如 Stable Video Diffusion、Mochi、LTX-Video 与混元视频；音频方面可接入 Stable Audio 一类的模型；三维内容方面则支持混元 3D 2.0 等模型，从图像或文本生成网格模型。^[2]

在部署方式上，既有 Windows 便携包，也有需要自行配置依赖的源码安装，还有面向无本地显卡用户的云端方案。^[7] 其自定义节点生态规模较大，ComfyUI-Manager 扩展可用于检索、安装和更新第三方节点，覆盖视频生成、面部修复等需求。^[8] 由于后端本身即接口，部分 AI 绘画产品在后端直接调用该工作流。^[6]

局限

节点式操作带来的主要代价是学习门槛偏高。从零搭建工作流需要理解每个节点的作用以及扩散采样的运作方式，起点明显高于在单一输入框里写提示词；多数使用者实际是从共享或内置的模板工作流开始修改，而非在空白画布上逐节点搭建。^[4] 有教材记录了这样的教学观察：在教师指导下，已有其他界面基础的学生约需 6 小时可熟练使用，没有相关基础的学生则约需 30 小时。^[9]

本地运行对硬件仍有实际要求，且需求主要由所加载的模型而非界面本身决定。显存不足时会报出内存溢出错误，高分辨率或长提示词尤其容易触发，常见应对办法是降低分辨率与批量数、使用低显存启动参数、切换半精度或采用量化模型。^[7] 当模型权重超出显存容量时，系统需要向内存和磁盘页文件溢出，有案例研究记录了在 8GB 显存的笔记本 GPU 上运行 1080p 视频生成时出现系统分页错误的情况。^[10]

自定义节点的开放性也带来若干使用问题。运行他人共享的工作流时，常因缺少对应的第三方节点而报错；不同节点依赖的 Python 库版本可能互相冲突，表现为启动时报导入错误或节点突然失效。^[7] 由于自定义节点是在用户机器上执行的 Python 代码，安装来源不可靠的节点存在安全风险，社区与 Comfy Org 的应对方式包括节点注册表的代码审查流程与安全提示。^[3]

参见

• Stable Diffusion —— ComfyUI 最主要的底层扩散模型之一，界面围绕其推理流程设计

• 扩散模型 —— ComfyUI 所调度的生成式模型的原理基础

• ControlNet —— 在 ComfyUI 中以节点形式出现，用于约束生成结果的空间结构

• LoRA —— 在 ComfyUI 中用于注入自定义风格或角色的轻量微调权重

• AUTOMATIC1111 —— 同为 Stable Diffusion 图形界面的表单式工具，与 ComfyUI 常被对照使用

• 潜空间 —— ComfyUI 中采样与解码环节所操作的数据表示