MobileViT

定义

MobileViT是一种为移动设备和资源受限环境设计的轻量级通用视觉Transformer网络，可作为计算机视觉任务的骨干网络使用^[1]。它并不完全取代卷积，而是在卷积神经网络（CNN）的框架内插入由Transformer完成全局建模的模块，形成一种混合结构^[2]。

该模型讨论的问题来自两类网络各自的短板：轻量级卷积网络带有空间归纳偏置，能在较少参数下学习表示，但感受野局限于局部；基于自注意力的视觉Transformer擅长全局建模，却通常体量偏大^[2]。MobileViT的设计目标是在移动视觉任务上同时获得较低的参数规模与可接受的推理延迟^[2]。

原理

MobileViT的基本单元称为MobileViT块。对于形状为$H\times W\times C$的输入张量，先经过一个$n\times n$的标准卷积提取局部空间信息，再由$1\times 1$逐点卷积把通道数调整为$d$，得到张量$X_L\in\mathbb{R}^{H\times W\times d}$^[3]。

随后$X_L$被展开为$N$个互不重叠的扁平块$X_U\in\mathbb{R}^{P\times N\times d}$，每个块内部送入Transformer进行自注意力计算，得到$X_G$；再将结果折叠回$H\times W\times d$的特征图$X_F$，用逐点卷积压缩通道后与原始输入$X$拼接，最后经一个$n\times n$卷积完成特征融合^[3]。论文把这一做法概括为“将Transformer视为卷积”，即用全局处理替代标准卷积中的局部处理环节，因而不需要位置编码，模块也可以插在卷积网络的任意位置^[2][4]。

整体网络的起始层采用步长为2的$3\times 3$标准卷积，其后交替堆叠MobileNetV2风格的倒残差块与MobileViT块，激活函数使用Swish，块内$n$取3^[3]。训练中还使用了多尺度采样，在迭代中随机抽取不同分辨率，以减少训练与验证之间的差距^[5]。论文给出的复杂度分析显示，MobileViT中多头自注意力的计算代价为$O(N^2Pd)$，理论上高于标准ViT的$O(N^2d)$，但由于$P$与$d$取值较小，实际运行反而更省算力^[3]。

发展历程

MobileViT的首篇论文于2021年10月5日提交至预印本平台arXiv，编号为arXiv:2110.02178，作者为苹果公司的Sachin Mehta与Mohammad Rastegari^[6]。该文随后被ICLR 2022接收，作者同期开源了训练代码^[7]。最初的版本后来被称作MobileViTv1^[8]。

2022年6月，两位作者提出MobileViTv2，用线性复杂度的可分离自注意力替换多头自注意力。原模型的主要效率瓶颈在于多头自注意力的$O(k^2)$时间复杂度，新方法借助一个潜在token计算上下文分数，把复杂度降到$O(k)$，并以逐元素运算取代批量矩阵乘法^[9]。在约300万参数下，MobileViTv2在ImageNet上的top-1准确率为75.6%，比MobileViT高约1个百分点，在移动设备上运行速度约为后者的3.2倍^[9]。

同年9月，Shakti Nagnath Wadekar与Abhishek Chaurasia提出MobileViTv3，针对v1中融合模块带来的扩展困难与学习任务复杂问题作出调整，并把新融合模块加入v2以形成v3-0.5、v3-0.75、v3-1.0系列^[8]。在ImageNet-1K上，MobileViTv3-XXS与v3-XS分别比对应的v1版本高2%与1.9%^[8]。

应用

作为通用骨干网络，MobileViT可用于图像分类、目标检测与语义分割等任务。PaddleClas等开源模型库收录了该系列并给出其在ImageNet-1k上的预训练权重与指标，如MobileViT-S的top-1准确率为78.14%、参数量5.59M^[1]。Hugging Face也发布了由论文作者权重转换而来的分类模型^[4]。

在下游架构中，把SSDLite的骨干网络由MNASNet替换为MobileViT，可得到mAP高1.8%、体积小约1.8倍的检测网络^[7]。后续研究还把MobileViT用作YOLO系列检测器的骨干网络以降低参数量与计算量，也有人在其基础上引入小波变换等频域信息用于植物病害识别^[3][10]。

局限

MobileViT的参数量虽小，推理延迟却高于轻量级卷积网络。MobileViTv2的论文指出，原版MobileViT的主要效率瓶颈正是Transformer中的多头自注意力，它不仅具有$O(k^2)$的时间复杂度，还需要批量矩阵乘法与softmax等对资源受限设备不友好的操作^[9]。

结构上，v1的融合模块带来扩展困难，也使学习任务偏复杂，MobileViTv3的出发点即在于修正这一环节^[8]。此外，MobileViT块内的自注意力在展开后的块之间进行，其全局建模范围与整图级别的注意力仍不完全等同；Hugging Face的模型说明也提示，原始权重主要用于图像分类，用于其他任务需另行微调^[4]。

参见

• 视觉Transformer —— MobileViT 所借鉴的基于自注意力的视觉模型架构。

• 卷积神经网络 —— MobileViT 混合结构中的另一半，提供局部归纳偏置。

• MobileNet —— 面向移动端的轻量级卷积网络，常与 MobileViT 对比并被其部分采用。

• 自注意力机制 —— MobileViT 块进行全局建模的核心运算。

• ImageNet —— MobileViT 论文报告分类精度的主要评测数据集。