AI绘画

定义

AI绘画指借助深度学习模型，由计算机直接生成或编辑图像的技术，通常以自然语言文字指令作为条件输入，因此也常被称为文生图。其产出既可以是全新的画面，也可以是对已有图像的改写、修复与扩展^[3][2]

从技术谱系看，它属于生成式模型的图像方向，与图像识别等判别式任务相对。判别模型判断输入属于哪一类，生成模型则学习训练数据的分布并据此采样出新的样本^[4][5]

该技术的关键在于把人类的语义意图映射为像素。文字提示先被编码成向量，再作为条件引导图像合成过程，使模型输出的内容与描述在语义上对应^[3]

原理

早期主流路线是生成对抗网络(GAN)。它同时训练两个网络：生成器把随机噪声映射为样本，判别器判断样本来自真实数据还是生成结果；生成器力求让判别器判断出错，二者交替优化，最终生成器可以逼近训练数据的分布^[4][6]

此后扩散模型成为图像生成的主流框架。其前向过程按固定方差表逐步向图像加入高斯噪声，直至接近纯噪声；反向过程由神经网络逐步预测并去除噪声，从随机噪声还原出图像^[5][7]

训练目标可写成对噪声预测的均方误差：$L=\mathbb{E}_{x_0,t,\epsilon}\left[\left\|\epsilon-\epsilon_\theta(x_t,t)\right\|^2\right]$，其中 $x_t=\sqrt{\bar{\alpha}_t}x_0+\sqrt{1-\bar{\alpha}_t}\epsilon$，网络只需学会判断当前时刻混入了多少噪声^[7][1]

为降低算力开销，潜在扩散模型先用自编码器把图像压缩到低维潜在空间，再在该空间中执行加噪与去噪，最后解码回像素。这类模型通过交叉注意力层接入文本等条件，兼顾了质量与计算成本^[3]

文本条件的建立依赖图文对齐模型。对比语言-图像预训练模型(CLIP)用约 4 亿组图文对做对比学习，把图像和文本映射到同一嵌入空间，其文本编码器常被用作文生图模型的条件编码器^[8][9]

flowchart LR

A[文字提示] --> B[文本编码器]

C[随机噪声] --> D[去噪网络]

B --> D

D --> E[潜在特征]

E --> F[解码器]

F --> G[输出图像]

发展历程

2014 年，伊恩·古德费洛(Ian Goodfellow)等人提出生成对抗网络，用生成器与判别器相互对抗的方式估计数据分布，为后续图像生成研究奠定了框架基础^[4][6]

2020 年，乔纳森·何(Jonathan Ho)等人提出去噪扩散概率模型，通过重新参数化让网络预测所加噪声，在 CIFAR-10 上取得当时较优的生成质量指标，扩散路线由此受到广泛关注^[1][5]

2021 年，开放人工智能研究中心(OpenAI)发布对比语言-图像预训练模型，使文本与图像在同一语义空间中对齐，为文字驱动生成提供了条件编码手段^[8]

2021 年 12 月，潜在扩散模型论文公开，把扩散过程移入自编码器的潜在空间，显著降低了训练与推理的算力需求^[10][3]

Stable Diffusion 即基于该架构训练，在 512×512 分辨率图像上使用 LAION-5B 子集，配备 8.6 亿参数的 UNet 与 CLIP 文本编码器，可在显存 10GB 以上的显卡上运行，其权重以相对宽松的许可发布，推动了本地部署与二次开发^[9][11]

2022 年，使用 Midjourney 生成的《太空歌剧院》在美国科罗拉多州博览会数字艺术比赛中获奖，引发公众对 AI 绘画的广泛讨论，该作品此后常被视为此类工具走入大众视野的标志^[12][2]

2025 年以后，图像生成模型在可控生成、画面文字还原和多场景适配上继续推进，多家厂商相继发布新版本，图像生成与图像编辑开始被整合进同一模型架构^[2][13]

应用

在美术与设计领域，AI绘画较多介入创作前端的视觉想象与方案生成，作者仍需对模型产出的图像进行筛选、编辑和深化^[12]

在图像编辑方面，扩散模型可用于图像修复、类别条件合成与超分辨率等任务，也能依照文字指令完成局部替换与风格调整^[3]

在交互方式上，部分模型支持边生成边修改，用户可持续调整发色、服饰等细节，而不必反复生成大量候选图再行筛选

此外，近年的研究尝试让智能体先以代码绘制草图、再调用生成模型补充材质与光影，把生成过程拆成构思、素描、上色等阶段，以提高可控性^[14]

局限

生成结果具有概率性。模型依据训练数据中的统计规律进行组合与预测，并不真正理解画面内容，因此可能出现看似合理却与事实不符的细节^[12]

早期开源模型的模型卡明确列出若干不足：难以达到完美的照片级真实感、无法稳定渲染可读文字、在“红方块放在蓝球上”这类组合性任务上表现较差，人脸与人体的生成也常出错，且主要基于英文描述训练，非英语提示的效果明显偏弱^[11]

训练数据中的偏差会被模型继承甚至放大，模型卡亦提示生成模型可能强化社会偏见；此外自编码环节本身是有损的，会损失部分细节^[11]

在算力层面，早期扩散模型直接在像素空间运算，训练动辄消耗数百个 GPU 日，逐步去噪的采样方式也使推理成本偏高，这是潜在扩散等改进方案出现的原因之一^[3][15]

参见

• 生成对抗网络 —— AI绘画早期的主要技术路线，以生成器与判别器对抗训练生成图像

• 扩散模型 —— 当前图像生成的主流框架，通过逐步去噪从随机噪声还原画面

• CLIP —— 图文对比预训练模型，为文字驱动的图像生成提供条件编码

• Stable Diffusion —— 基于潜在扩散架构的开源文生图模型

• Midjourney —— 以文字指令生成图像的商业平台，推动了 AI 绘画进入大众视野

• 多模态大模型 —— 同时处理文本与图像等模态的大模型，是图像生成与编辑能力的重要载体