1Prompt1Story
1Prompt1Story(One-Prompt-One-Story)是一种无需额外训练的一致文本到图像生成方法,由南开大学、巴塞罗那自治大学等机构的研究者于2025年提出。该方法把描述同一人物的身份提示与多帧场景提示拼接成一条长提示输入扩散模型,借助语言模型自身的上下文一致性保持人物形象稳定,并配合奇异值重加权与身份保持交叉注意力改善每帧图像与文字的对应关系。相关论文发表于ICLR 2025,并以Spotlight形式入选。
定义
1Prompt1Story是一类面向故事图像生成的一致文本到图像(text-to-image,简称T2I)方法,目标是在不同场景中保持同一人物或主体的形象不变。它属于无需训练(training-free)的路线,不修改扩散模型的权重,也不在数据集上做微调,而是在推理阶段通过改写提示与调整内部表示实现一致性[1]。
该方法处理的问题是:给定一条描述主体外观的身份提示与若干条描述各帧场景的提示,生成一组主体身份相同、内容又分别贴合各帧描述的图像[2]。与需要大量数据训练或给模型加装复杂模块的做法相比,它把全部提示合并为一条输入,因而能够套用到不同的扩散模型配置上。
原理
方法的核心依据是语言模型的上下文一致性(context consistency)。研究者观察到,当同一段文字先后提到同一对象时,基于Transformer的文本编码器会让后文通过自注意力机制继续关联前文的描述,从而在单条提示内部隐含地维持主体身份[3]。据此,1Prompt1Story先做提示整合(prompts consolidation),把身份提示 $P_0$ 与各帧提示 $P_1,\dots,P_N$ 串联为 $P=[P_0;P_1;\dots;P_N]$,得到初步的身份保持效果[2]。
仅有拼接还不足以保证每一帧与对应文字对齐,因为各帧语义在合并后的提示嵌入中相互纠缠[3]。为此研究者加入两项技术。其一是奇异值重加权(Singular-Value Reweighting,简称SVR),借助奇异值分解分析提示嵌入中各成分的重要性,在生成第 $j$ 帧时增强该帧描述、削弱其余帧描述的语义影响[4]。其二是身份保持交叉注意力(Identity-Preserving Cross-Attention,简称IPCA),在交叉注意力层调整键与值矩阵,使主体特征更多来自身份提示而少受场景描述干扰[4]。
flowchart LR
A[身份提示 P0] --> C[提示整合 P]
B[帧提示 P1…PN] --> C
C --> D[文本编码]
D --> E[奇异值重加权]
E --> F[身份保持交叉注意力]
F --> G[扩散模型逐帧生成]
上述流程在论文中被概括为提示整合、奇异值重加权与身份保持交叉注意力3个环节的协同,使各帧提示能在长提示中被单独表达,同时保持与身份提示一致的主体[2]。
在基础版本中,研究者还给出一个更简单的朴素提示重加权(naive prompt reweighting)做法:直接对整合提示的嵌入按帧重新加权,即可获得较好的身份一致性,但对齐效果有限,这也是后续引入SVR与IPCA的原因[2]。
发展历程
该工作由南开大学、巴塞罗那自治大学计算机视觉中心、穆罕默德·本·扎耶德人工智能大学等机构的研究者合作完成,作者包括陶刘、王凯、李世茂、Joost van de Weijer、Fahad Shahbaz Khan、杨世奇、王亚星、杨健与程明明[2]。相关论文于2025年1月23日首次提交至预印本平台,同年2月5日更新至第3版[5]。
论文以《One-Prompt-One-Story: Free-Lunch Consistent Text-to-Image Generation Using a Single Prompt》为题被ICLR 2025接收,并以Spotlight形式入选[6]。研究团队同时公开了代码与项目页面,便于复现与后续比较[1]。此后出现的单提示一致性研究在沿用该范式的同时,针对帧间语义渗透问题提出了新的改进方案[3]。
应用
该方法面向需要在多幅画面中反复出现同一主体的任务,论文列举的用途包括动画制作、故事可视化、视频生成以及其他叙事驱动的视觉应用[2]。在这些场景中,用户通常希望人物长相、服饰等特征在连续画面里保持稳定,而单条提示恰好能在文本层面提供这种连续性[4]。
由于一致性由文本编码器的性质决定,而与具体生成骨干无关,该方法可与多种扩散模型搭配使用,研究者以其与ConsiStory、StoryDiffusion、IP-Adapter等既有方法在同一基准上的对比来验证效果[2]。为便于评测,团队还在一致性生成基准ConsiStory的基础上扩展出ConsiStory+,用于评估长叙事中的身份保持能力[2]。
局限
单提示范式的主要问题是语义渗透:所有帧描述共享同一条提示嵌入,某一帧的词汇可能在生成其他帧时残留影响,造成文字与图像不完全对应[3]。SVR与IPCA虽能缓解帧间干扰,但两种技术在抑制其他帧语义时需要在一致性与对齐之间权衡,强度设置不当会削弱当前帧的表达[4]。
论文的比较实验表明,该方法在长叙事中维持身份一致的效果优于若干既有方案,但研究本身以定量指标与定性观察为依据,评测范围限于其扩展的基准,尚不能说明在所有题材与模型上都成立。此外,现有的一致文本到图像研究多以人脸为对象,而故事续写等任务还涉及非人类主体乃至多主体同框的情形,这类情况对单提示方法仍构成挑战[2]。
参见
参考资料
- huggingface.co 上的网页 [引用日期2026-10-29]
- obspm.fr 上的网页 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- 单提示生成「主体一致」图像，且无需训练，已斩获ICLR 2025 Spotlight-36氪 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- citations [引用日期2026-10-29]