DALL·E

定义

DALL·E是一类以自然语言文本为输入、直接输出对应图像的人工智能模型，由美国研究机构OpenAI开发，其名称来自动画角色瓦力和画家萨尔瓦多·达利的组合^[4]。用户输入的描述语句通常称为提示词，模型据此从零开始合成画面，而不是从图库中检索已有图片^[1]。该系列目前包括初代DALL·E、DALL·E 2和DALL·E 3三个主要版本，均未公开源代码^[4]。

与早期的生成对抗网络方案相比，DALL·E属于预训练大模型，使用者不必针对特定数据集重新训练，只需给出文字即可得到图像^[5]。这一特性使图像生成的门槛大幅降低，也使其成为多模态人工智能研究的代表性案例^[6]。

原理

初代DALL·E沿用GPT-3的Transformer架构，参数量为120亿。文本与图像被转换成同一条长度不超过1280个词元的数据序列，模型以逐词元预测的方式学习生成，因此既能凭空作画，也能补全既有图片右下方的矩形区域^[1]。生成候选样本后，系统借助CLIP对512个样本重新排序，取其中匹配度较高的结果输出^[7]。

DALL·E 2的内部结构在论文中称为unCLIP，分为先验与解码器两步。CLIP的文本编码器先把提示词映射为文本嵌入，先验模型再把它转换为图像嵌入，最后由扩散解码器把该嵌入还原成图像，相当于逆向使用CLIP的图像编码器^[8]。解码器只生成64×64像素的低分辨率画面，随后由两个上采样扩散模型依次放大至256×256和1024×1024像素^[9]。

在数学上，该两阶段过程可写作 $p(x|y)=p(x|z_i,y)\,p(z_i|y,z_t)$，其中 $y$ 为文本，$z_t$ 为文本嵌入，$z_i$ 为图像嵌入。先验负责估计 $p(z_i|y,z_t)$，解码器负责估计 $p(x|z_i,y)$^[10]。先验可选用自回归或扩散两种实现，论文报告扩散先验在计算效率和样本质量上更优^[8]。

flowchart LR

A[提示词文本] --> B[CLIP文本编码器]

B --> C[先验模型]

C --> D[CLIP图像嵌入]

D --> E[扩散解码器]

E --> F[64×64图像]

F --> G[上采样模型]

G --> H[1024×1024图像]

发展历程

2021年1月初，OpenAI同时公开DALL·E与CLIP两个模型，前者负责由文字生成图像，后者负责判断图像与文字的匹配程度，被视为自然语言处理与计算机视觉边界被打通的标志^[6]。同年，相关成果以零样本文本生成图像的论文形式发表^[10]。

2022年4月6日，OpenAI发布DALL·E 2，其背后模型即unCLIP，生成分辨率比前代提高4倍，并新增图像变体生成与画面外延扩展等编辑能力^[2]。出于伦理与安全考虑，该版本最初仅向预先选定的用户开放研究预览，2022年7月20日进入测试阶段并发放约100万个候补名额，同年9月28日取消候补限制向所有人开放，11月初又以接口形式提供给开发者集成^[4]。

2023年9月，OpenAI公布第三代模型DALL·E 3，并将其原生集成进ChatGPT，由对话模型自动扩写和细化提示词^[11]。微软在2023年10月3日宣布该模型向所有必应聊天和必应图像创建器用户免费开放，早于ChatGPT端的付费用户^[12]。据OpenAI介绍，DALL·E 3在相同提示下相较DALL·E 2有明显进步，对细节和细微差别的理解更强^[3]。

应用

该系列模型的主要用途是把文字构想快速转化为视觉草图，可用于插画、概念设计、教学配图和营销素材的初步构思，OpenAI在DALL·E 2预览阶段列出的方向还包括建筑与房地产设计、科学研究示意等。DALL·E 2具备的图像变体与画面外延功能，使其也被用于在既有图片基础上扩展背景或调整构图^[2]。

在传播层面，DALL·E 2发布后引发大量用户尝试以离奇描述生成图片并在社交平台分享，形成一时的网络流行现象^[5]。DALL·E 3则通过必应图像创建器和ChatGPT等界面面向普通用户开放，微软同时将其用于Windows画图应用中的图像共创功能^[12]。按OpenAI的说明，用户对通过DALL·E 3生成的图片可以转载、销售或作商业化使用，无需另行取得许可^[3]。

局限

在组合理解方面，初代DALL·E对少量物体的属性与位置有一定控制力，但随着画面中物体增多，容易把颜色与对应物体错配，成功率随对象数量上升而急剧下降^[7]。论文分析也指出，unCLIP在把属性绑定到具体对象上不如GLIDE，生成连贯文字和复杂场景细节同样存在困难^[9]。DALL·E 3之前的版本在图像内渲染文字方面表现较弱，第三代才把准确生成标签、招牌等文字内容作为改进重点之一^[13]。

常识与逻辑推理同样是短板，诸如“世界上最大的猫科动物”“一只狗坐在一只猫左边”这类要求，模型未必给出符合事实或空间关系的画面；写实人像的细微偏差还可能引起不适感^[5]。手部结构因关节多、在训练图中常处于边缘位置，生成结果容易出现形状或指数异常^[5]。

数据偏差会反映在输出中。OpenAI的系统说明记录，提示词为“律师”时结果偏向白人男性形象，为“护士”时偏向女性形象；对描述不充分的提示，模型的呈现方式也可能带有刻板印象。研究还发现早期版本偶有几乎照搬训练图片的情况，OpenAI称此类比例低于1%，但因其可能牵涉版权、肖像与隐私问题而着手通过数据去重加以抑制^[14]。此外，系统需依靠内容策略、提示词过滤与人工审核来限制不当图像的生成，这些过滤也可能使部分群体的提示被更频繁地拦截。

参见

• CLIP —— 与DALL·E同期发布的图文匹配模型，为DALL·E 2提供文本与图像的共享嵌入空间。

• 扩散模型 —— DALL·E 2解码器采用的一类生成模型，通过逐步去噪还原图像。

• 生成对抗网络 —— 早期文本与图像生成常用的模型架构，DALL·E采用的路线与之不同。

• Transformer —— 构成初代DALL·E与CLIP编码器的神经网络架构。

• 文心一格 —— 百度推出的中文文本生成图像模型，可接受中文提示输入。

• 多模态学习 —— 同时处理文字与图像等不同模态信息的研究方向。