PhotoMaker v2

定义

PhotoMaker v2是腾讯ARC实验室(ARC Lab)推出的照片定制化人像生成模型的第二个版本，外文名PhotoMaker V2，常缩写为PMV2^[2]。其基本使用方式是由使用者输入一张或数张人脸照片并配合文本提示，在数秒内得到定制化的照片或绘画图像，全过程不需要针对个人进行模型训练^[3]。

该版本属于PhotoMaker项目的迭代形式，并非独立的新模型体系。按照官方说明，它保留了第一代的高质量与多样化生成能力以及文本控制能力，同时把改进重点放在身份保真度上。模型文件以photomaker-v2.bin的形式发布，可适配以SDXL为基础的各种基础模型，也能与其他LoRA模块配合使用^[3]。

原理

PhotoMaker系列的核心方法是堆叠身份嵌入(Stacked ID Embedding)。生成过程中，文本编码器给出文本嵌入，图像编码器给出图像嵌入，两者与对应的类别词嵌入(例如男性、女性)合并后形成融合嵌入；多个融合嵌入沿长度维度拼接，构成堆叠的身份嵌入，再送入扩散模型的各交叉注意力层，由模型自适应地引入身份内容。这一机制使模型在推理阶段可以直接输入不同身份的照片，并据此组合出新的身份，而不必沿用训练时的同一身份样本。

从模型结构看，PhotoMaker v2的权重主要包含两部分：一是身份编码器id_encoder，由微调过的OpenCLIP-ViT-H-14与若干融合层组成；二是应用于UNet全部注意力层的LoRA权重，秩(rank)设为64^[3]。官方在说明V2的训练时提到，相较第一代引入了新的训练策略、纳入更多肖像数据集，并采用了能力更强的身份提取编码器。

在提示词写法上，模型约定在需要定制的类别词后附加触发词img，例如「man img」「woman img」「girl img」；若输入为亚洲面孔，可在类别词前补充族裔描述。在风格化生成时，风格强度参数可调至30至50区间，数值越大，身份保真度越低而风格化程度越高。

发展历程

PhotoMaker初代版本于2024年1月15日发布，相关工作以「通过堆叠身份嵌入定制真实感人像照片」为题，发表于IEEE计算机视觉与模式识别会议(CVPR)2024^[1]。项目主页列出的作者包括李臻、曹明登、王鑫涛、齐中昂、程明明、单瀛^[3]。

2024年7月22日，腾讯ARC实验室发布PhotoMaker V2，官方公布的改进方向是提升身份保真度，同时保留初代的生成质量、可编辑性以及对各类插件的兼容性，并同步提供了与ControlNet、T2I-Adapter、IP-Adapter集成的推理脚本^[1]。官方同时说明该版本由混元DiT(HunyuanDiT)团队提供支持，并称将另行发布V2的技术报告^[1]。

在生态接入方面，第三方ComfyUI插件于2024年7月26日加入对PhotoMaker V2的支持，其加载流程改用InsightFace进行人脸特征提取^[4]。轻量推理框架stable-diffusion.cpp的Python封装则说明，运行V2需要先以face_detect.py脚本生成id_embeds.bin并复用，依赖相对第一代更重^[2]。

应用

该版本的主要用途是依据真人照片生成风格一致、身份可辨识的人像图像，典型场景包括社交平台头像定制、影视后期中配角或替身的人像生成、游戏与虚拟人设的角色图制作，以及广告素材中的人物图像合成。初代已具备的若干功能在V2中延续，例如把老照片或画作中的人物还原为现代人像、混合不同人物的身份特征，以及调整人物的年龄或性别。

与控制类插件的组合使其支持更精细的生成控制。与T2I-Adapter的涂鸦模式配合时，可依据使用者的手绘草图和提示词生成图像；与ControlNet、T2I-Adapter配合时，可对边缘、姿态、深度等布局信息进行约束。此外，模型可作为插件与IP-Adapter-FaceID、InstantID或角色LoRA叠加，以进一步提高身份一致性，也可与LCM结合用于加速采样。

局限

官方模型卡列出的局限包括：模型在亚洲男性面孔上的定制效果会下降，并且在准确绘制人手方面仍存在困难^[3]。官方同时提示，图像生成模型可能强化或加剧社会偏见^[3]。

在使用条件上，PhotoMaker对显存有最低要求，官方给出的数值为11GB；对于不支持bfloat16的显卡，需改用float16精度，官方在V100上的测试显示单张图像耗时可由约1分钟降至约14秒^[1]。官方使用建议还指出，上传照片中人脸应占据画面较大比例，增加输入照片数量通常有利于提高身份保真度，而减少采样步数虽可提速却可能影响保真度。

参见

• PhotoMaker —— 本词条所属的初代模型，PhotoMaker v2 在其基础上改进而来。

• 堆叠身份嵌入 —— 该系列模型实现身份保真的核心方法。

• ControlNet —— 官方提供集成脚本、可用于布局约束的生成控制网络。

• IP-Adapter —— 可与该版本组合以提升身份一致性的适配器方案。

• SDXL —— 该版本可适配的基础模型体系。

• 扩散模型 —— 该模型生成图像所依托的模型类别。