StoryDiffusion

定义

StoryDiffusion 是一个面向视觉故事生成的扩散模型框架。其目标是把一段文本故事拆解为多个提示词,并批量生成角色外貌、服装与场景安排保持连贯的一组图像;在得到这组图像后,框架还能进一步在相邻图像之间补出过渡画面,输出连贯视频^[1]。

与一般的单图生成工具不同,StoryDiffusion 关注的不是单张图的质量,而是一组图中的主体一致性,即人物面部、身份与服饰在多张画面之间不发生漂移。研究工作由南开大学与字节跳动的研究者完成,论文发表于 2024 年的神经信息处理系统大会(NeurIPS)^[2]。

该框架由两个可以独立看待的模块组成:用于图像一致性的一致性自注意力,以及用于视频过渡的语义运动预测器;二者串联即构成「先出图、再成片」的两阶段结构^[3]。

原理

一致性自注意力是 StoryDiffusion 的核心。扩散模型中的自注意力对生成画面的整体结构影响显著,而注意力权重本身由输入决定,因此研究者设想在注意力计算中引入同一批次内其他图像的特征作为参照,从而在不改动模型参数的情况下加强图像之间的相似性^[2]。

具体做法是:把一个故事文本切分为若干提示词,每个提示词对应一张图,一并送入批次生成;在注意力计算前,从批次内其他图像的特征中随机采样一部分 token,与当前图像自身的 token 拼接后记为 $P_i$,再经线性映射得到新的键 $K_{P:i}$ 与值 $V_{P:i}$,查询 $Q_i$ 保持不变,于是注意力写为 $O_i=\text{Attention}(Q_i,K_{P:i},V_{P:i})$^[2]。由于沿用原有的 Q-K-V 权重,该模块可以直接替换图像生成模型 U-Net 中的原始自注意力层,无需训练,具有即插即用的特性^[2]。

第二个模块面向视频。给定起始帧与结束帧,框架先用预训练的 CLIP 图像编码器把两帧映射为语义空间向量 $K_s,K_e$,在语义空间中做线性插值扩展为序列,再由若干 transformer 块预测中间帧的过渡嵌入,最后以交叉注意力的方式把这些嵌入作为控制信号送入视频生成模型逐帧解码^[2]。研究者指出,只在潜空间做运动预测难以处理两帧之间较大的状态差,而在语义空间预测能够覆盖更大幅度的动作^[2]。

在长故事场景中,一致性自注意力可与时间维度上的滑动窗口配合使用,使显存峰值不再随输入文本长度增长,从而支持更长的故事序列^[3]。

发展历程

论文《StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation》于 2024 年 5 月 2 日提交至 arXiv 预印本平台,作者为周玉鹏、周大权、程明明、冯佳时、侯淇彬,署名单位包括南开大学视觉计算与图像处理实验室(VCIP)、南开大学媒体计算实验室(TMCC)与字节跳动等^[4][2]。

2024 年 5 月,项目演示中由该框架生成的漫画在社交平台被图灵奖得主杨立昆转发,相关代码仓库的关注度随之上升^[5][6]。同年,论文被神经信息处理系统大会(NeurIPS)收录^[1]。

2024 年 8 月,基于国产深度学习框架计图(Jittor)的 StoryDiffusion 版本完成开源,并在 NK-Diffusion 仓库中提供运行教程,官方称测试效果与 PyTorch 版本一致^[7]。此后社区还出现了面向 ComfyUI 的封装实现,并将该模块与其他图像模型组合使用^[8]。

应用

主要用途是漫画与故事板生成。用户提供一段多句文本故事,框架将其切分为若干提示词并批量出图,使角色在不同画面中保持身份与服装一致;官网演示展示了多种画风、多角色同场等场景^[3]。

在视频方向上,框架可以以自身生成的一致图像或用户提供的条件图像为输入,生成图像之间的过渡片段,并把多段过渡拼接成较长的视频,研究团队将其描述为两阶段的长视频生成方式^[9]。论文中的对比实验显示,其生成的过渡视频在 LPIPS、CLIPSIM、FVD、FID 等指标上优于对比方法^[2]。

由于一致性自注意力采用即插即用的替换形式,该模块可与 Stable Diffusion 1.5、Stable Diffusion XL 等预训练扩散模型配合,也能与面部身份保持方法组合使用,以在给定参考人物照片时继续维持角色一致^[9][2]。

局限

一致性来自批次内图像之间的特征参照,因此需要一次提供多条提示词;开源实现的说明中写明至少需要 3 条提示词,并建议 5 至 6 条以获得较好的版面安排,单图任务并非其适用场景^[9]。

采样率需要权衡:论文的消融实验显示,采样率过低不足以维持主体一致,过高则会使图像之间过度相关、削弱文本对画面的控制力^[2]。此外,生成效果对提示词质量较为敏感,提示词之间缺乏连贯时一致性会下降^[10]。

开源进度方面,项目早期公开的代码与演示主要覆盖漫画生成,视频生成模型的源码与预训练权重在发布时仍列为待完成项,因此完整的图像到视频流程需要依赖相应权重才能运行^[9]。论文亦指出,该类高保真人物图像与视频生成技术存在被不当使用以制造虚假信息的风险,研究团队主张明确责任并加强法律与技术层面的监管^[2]。

参见

• 扩散模型 —— StoryDiffusion 建立在扩散生成模型之上,并对其进行零样本增强。

• Stable Diffusion —— 该框架的一致性自注意力可直接替换其中的自注意力层。

• 自注意力机制 —— 一致性自注意力是对标准自注意力的改写。

• CLIP —— 语义运动预测器使用预训练 CLIP 图像编码器做语义空间编码。

• PhotoMaker —— 同属人物身份一致生成方法,可与本框架组合使用。

• 图像到视频生成 —— StoryDiffusion 的第二阶段任务即由图像序列生成过渡视频。