AnyDoor

定义

AnyDoor是一种以扩散模型为生成骨干的图像编辑模型，任务形式是在给定目标对象图像、场景图像和放置位置框的条件下，重新生成场景图中的对应区域，使对象以合理的光照、阴影与视角融入环境^[1][2]。研究团队把这一操作称为对象「传送」：场景中除被设定位框之外的区域保持原样，框内内容由模型依据参考对象重新合成^[3]。

在设定上，AnyDoor强调「零样本」——模型只训练一次，面对训练阶段未见过的新对象与新场景，推理时不必调整任何参数即可完成合成，这与DreamBooth一类需要针对单个对象做微调的定制化生成方法不同^[1]。其名称与《哆啦A梦》中可通往任意地点的道具「任意门」相近，中文报道多将其译作「任意门」^[4]。

原理

模型的核心思路是把参考对象拆成两类表征：一类描述对象「是什么」，即身份特征；另一类描述对象「长什么样」，即细节特征，随后将两类特征注入预训练的文本到图像扩散模型，控制指定区域的生成^[5]。身份特征由自监督视觉编码器 DINOv2 提取，输入前先用分割模型去掉背景并把对象对齐到图像中心，以得到更纯净、更具区分度的特征；提取出的图像 token 经一层线性映射对齐到扩散模型 UNet 的特征空间，称为 ID token^[5]。研究指出，此前常用的 CLIP 图像编码器只保留语义类别信息，难以维持实例身份，故改用自监督编码器^[6]。

ID token 分辨率较低，不足以保留纹理与图案，因此模型另设细节分支。做法是对去背景后的对象施加高通滤波（水平和竖直方向的 Sobel 核），得到高频图，用其刻画边缘与纹理，再按用户给定的形状掩码与位置拼贴进场景图，交由细节提取器读取^[5]。相较直接把对象整图粘贴，高频图保留了细节却不会锁死姿态与角度，从而在保真度与多样性之间取得折中^[6]。生成阶段以 Stable Diffusion 2.1 为底座，这些特征一同注入其 UNet 引导采样^[7]。

训练数据由视频与静态图像共同构成。视频中的不同帧提供了同一对象在时间轴上的多种形态，有助于模型学会对象外观的变化；静态图像则补充场景的多样性，两者按不同去噪步数采样，以平衡学习效率^[4][5]。在推理端，用户只需给出一张对象图、一张场景图和一个表示放置位置的框，即可得到合成结果^[3]。

发展历程

2023 年 7 月，研究团队公开论文《AnyDoor: Zero-shot Object-level Image Customization》，预印本编号为 arXiv:2307.09481，作者为陈汐、黄良华、刘宇、沈煜俊、赵德力与赵恒爽，署名机构为香港大学、阿里巴巴集团与蚂蚁集团^[7][6]。同年 12 月 17 日，官方仓库放出训练代码、推理代码、演示脚本与预训练权重；12 月 24 日，ModelScope 与 HuggingFace 上的在线演示开放^[7]。

2024 年 6 月 16 日至 22 日，该工作在 CVPR 2024 上宣读，收录于会议论文集第 6593 至 6602 页，会议地点为美国西雅图^[2]。此后研究团队把框架从「对象插入」推广为「区域到区域参考」的一般形式，论文以《AnyDoor: Zero-Shot Image Customization With Region-to-Region Reference》为题，于 2025 年 4 月 25 日发表在《IEEE 模式分析与机器智能汇刊》第 47 卷第 8 期，页码为 6480 至 6495^[8][9]。

应用

对象替换与移动是最直接的应用。借助同一套区域到区域映射机制，改变源区域与目标区域的定义，即可把对象从原位置搬到新位置，或用一个对象覆盖另一个对象，而无需为每项任务单独增加参数^[8]。若把目标区域设为空，任务即变为对象移除；若源区域与目标区域为同一张图，则可生成同一对象的不同变体^[8]。

虚拟试穿是论文讨论的下游任务之一。模型只需在场景图上用一个框标出上半身位置，就能依据参考衣物图保留颜色、纹理与图案，生成穿戴效果；论文同时说明，模型并未针对试穿做专门设计，加入人体骨架或预变形衣物并在试穿数据上微调可进一步提升效果^[6][7]。此外，多目标组合、部件级替换与形状编辑也被列为适用方向，后者通过给定的形状掩码控制对象的姿态与轮廓^[1][4]。

在工程侧，官方仓库以 MIT 许可开源，权重同时在 ModelScope 与 HuggingFace 发布，社区还出现了适配 ComfyUI 的节点与裁剪版模型，使本地部署所需显存有所下降^[7][10]。

局限

论文自述的局限集中在细节层面：模型对小型文字与标志一类精细内容仍难以准确还原，作者提出的改进方向包括补充相关训练数据、提高分辨率以及训练更好的 VAE 解码器。身份特征的低分辨率决定了模型更擅长整体结构与材质，而细小字符容易在生成中被模糊或以相近笔画替代^[6]。

使用条件上也有约束。当前版本要求用户自行标注目标对象的掩码，掩码过于粗糙会直接影响生成质量；训练分辨率上限为 768×768，超过该尺寸的图像并不适合直接用于训练^[7]。运行该模型需要较强的 GPU 算力，官方说明以 2 块 A100 训练约 30 万次迭代可得到可用结果^[11]。

方法层面的权衡同样存在。保真度与多样性此消彼长：越接近原图的拼贴策略越能守住身份，姿态与视角的变化却越少；完全依赖生成则姿态自由但细节流失^[6]。另有中文期刊论文指出，AnyDoor的生成速度得益于近似「复制—粘贴」的机制，代价是编辑的灵活性与融合的自然度受限，在复杂场景中效果有限^[12]。

参见

• 扩散模型 —— AnyDoor 的生成骨干，通过在潜空间中逐步去噪合成图像。

• DINOv2 —— 自监督视觉编码器，用于提取目标对象的身份特征。

• Stable Diffusion —— 模型采用的预训练文本到图像底座。

• DreamBooth —— 需要针对单个对象微调的主体驱动生成方法，常作为对照。

• ComfyUI —— 社区将其集成为节点，用于本地可视化调用。