漫画生成

定义

漫画生成是一类以算法为工具自动产出漫画内容的计算机技术，其输入通常是文字描述、故事脚本或参考图像，输出则是单幅漫画页、多格分镜或连续的故事画面^[4]。从任务划分看，它既包括依托已有照片或插图做漫画风格化转换，也包括直接从纯文本生成包含多个分格的一页漫画^[4]。与一般的文本生成图像任务不同，漫画生成还要求处理分格顺序、对话文字与画面的对应关系，以及跨分格的角色形象一致性，因此被视为故事可视化领域的一项专门任务^[1]。

原理

主流方法建立在扩散模型的基础之上。图像先经变分自编码器编码到低维潜在空间，再按递增的方差表加入高斯噪声，得到第 $t$ 步的带噪表示 $z_t = \sqrt{\bar{\alpha}_t}\,z_0 + \sqrt{1-\bar{\alpha}_t}\,\epsilon$，其中 $\epsilon \sim \mathcal{N}(0,I)$^[5]。模型训练时学习从带噪表示中预测所加入的噪声，推理时从纯噪声出发逐步去噪还原出图像，并以文本或图像条件引导生成方向^[6]。

为了让生成结果遵循分镜布局和角色形象，常见做法是引入可控制的条件分支。ControlNet 复制一份编码器并加零初始化的卷积层，把边缘图、深度图、骨架等条件信号注入去噪过程，从而在保留预训练模型生成能力的同时获得空间控制力^[5]。角色一致性则多通过 IP-Adapter 一类方法实现，即把参考图的图像特征经注意力层注入，使同一角色在不同分格中保持外貌与服饰的稳定^[6]。

在较新的框架中，多模态大语言模型被用作角色特征的适配器。以 DiffSensei 为例，扩散生成器与多模态大语言模型结合，通过掩码交叉注意力把角色特征放入指定区域，模型可根据每一格的文字提示调整角色的表情、姿态和动作，而无需直接搬运像素^[1]。整个流程通常由脚本解析、逐格提示词生成、图像合成与后处理串联而成，也有研究用工作流自动化工具把各环节接口打通以减少人工操作^[7]。

发展历程

相关技术的早期形态以风格转换和面部夸张为主。2018 年公布的 CariGAN 系统由两个生成对抗网络组成，一个负责分析照片中的人脸几何特征并加以夸张，另一个负责迁移漫画的笔触与艺术风格，该系统在 SIGGRAPH Asia 2018 上发布^[8]。这类方法主要解决单张照片到漫画头像的转换问题。

数据集的建立推动了任务向整页漫画扩展。Manga109 于 2015 年公开图像，2018 年公开人工标注，收录 109 部日本商业漫画、共 21142 页，由 94 位作者授权用于学术研究，包含画格、对话文本、角色面部与全身等超过 50 万条标注^[9]。在此基础上，研究者又构建出补充脚本信息的 Manga109Script，覆盖约 2 万页，用于脚本到版面的生成研究^[10]。

2025 年前后，整页漫画生成成为独立的研究课题。DiffSensei 提出定制化漫画生成任务，并公开了包含 43264 页漫画、427147 个已标注分格的 MangaZero 数据集^[1]。MangaDiffusion 则研究仅凭纯文本直接生成多格漫画页，并在单次前向推理中输出完整页面^[11]。

应用

在网络漫画与漫画出版领域，漫画生成被用于减轻连载压力。韩国网络漫画的周更模式要求创作者每周产出 60 至 80 格以上的画面，引入大语言模型与图像生成模型后，脚本分析、提示词撰写、图像生成、后期处理和上传等环节可被串接为自动化流程，研究显示单格平均制作周期与制作成本均有所下降^[7]。也有研究尝试用生成模型完成规划、作画、上色、背景设计和影像化等分阶段工作^[12]。

教育场景是另一类应用方向。有系统把视频转换为适合儿童阅读的漫画条，处理流程包括视频处理、特征提取、基于时序与美学分析的关键帧选取、卡通化转换以及语音转文字^[13]。另有系统针对输入文本提取关键上下文词，做情感分析以匹配对话框样式，并用移动云计算的安卓原型验证可行性^[14]。

面向非专业创作者的流程研究同样受到关注。一项研究搭建了五阶段生产线，结合大语言模型写作与扩散模型出图，并借助相关工具与绘画软件完成一页完整成品，测试者认为该章节画面连贯；该研究同时讨论了 AI 辅助创作对职业画师的影响以及作品归属问题^[2]。此外，也有研究以单张照片为输入生成夸张风格的漫画肖像，用于娱乐和社交场景^[15]。

局限

角色一致性仍是主要难点。多项研究指出，现有文本生成图像模型在多角色场景下难以稳定控制人物外貌与互动，跨分格保持角色的身份与服饰一致需要额外的定制机制^[1]。在非专业创作者的实际测试中，跨格维持角色外观一致同样是一项明显障碍，同时现有工具尚不能完全复现熟练画师笔下的情感层次^[2]。

版面与语言的适应能力也受限。有研究表明，这类管线在视觉与文本的整合上有改善，但在多语言支持以及非矩形分格布局的创作自由度方面仍存在不足^[3]。分格生成还存在构图趋同的问题，有实验观察到连续分格容易默认采用相近的特写构图，用户希望对取景变化有更多控制，而该研究样本量仅为 6 人，结论属于探索性质^[16]。

此外，漫画图像多为受版权保护的作品，训练与评测数据的授权来源构成现实约束。研究实践中倾向于选用获得作者正式许可的数据集，以保证可复现性；有数据集因依赖来源网址发布，部分链接失效而难以完整重建。漫画本身包含网点、拟声词和黑白二分色等特殊表现，也给分割与编辑类方法的迁移带来困难^[17]。

参见

• 扩散模型 —— 漫画生成最常用的图像生成基础模型。

• 生成对抗网络 —— 早期漫画风格化与漫画头像生成所采用的主要技术。

• 多模态大语言模型 —— 在新一代框架中承担脚本理解与角色特征适配。

• ControlNet —— 为漫画生成提供分格布局与姿态等空间控制的条件分支结构。

• 故事可视化 —— 漫画生成所属的更大研究范畴。

• Manga109 —— 漫画生成研究常用的公开标注数据集。