MambaVision

定义

MambaVision是一种用于计算机视觉的骨干网络(backbone)，即从图像中逐级提取特征、供分类与密集预测任务使用的神经网络主体结构。其名称中的“Mamba”指基于状态空间模型(SSM)的序列建模架构，“Vision”表明其设计面向图像而非文本^[1]。

与纯粹的Vision Transformer或纯粹的视觉Mamba模型不同，它把卷积层、Mamba模块与自注意力块按阶段组合在一条层次化通路里，因此被作者称为混合Mamba-Transformer骨干^[4]。模型以T、S、B、L等不同规模成系列发布，可适配不同算力与精度需求^[5]。

原理

MambaVision采用4个阶段的层次化结构。输入图像先经stem处理，stem由两层步长为2的3×3卷积组成，将图像切分为重叠小块并映射到$\frac{H}{4}\times\frac{W}{4}\times C$的嵌入空间；第1、2阶段由残差式卷积块构成，在高分辨率下完成快速特征提取；阶段之间的下采样同样使用步长为2的3×3卷积^[2]。

第3、4阶段是混合设计的主体。给定$N$个块，前一半使用作者改写的MambaVision Mixer，后一半使用自注意力加MLP。改写后的Mixer把输入分成两条平行支路：一条经线性投影、普通卷积、SiLU激活与选择性扫描输出$X_1$，另一条不含SSM、仅做卷积与SiLU得到$X_2$；两支结果拼接后再线性投影回原维度，即$X_{out}=\mathrm{Linear}(\mathrm{Concat}(X_1,X_2))$。

这条对称支路的意义在于弥补SSM单向记忆带来的空间信息损失；同时把每条支路的通道数降到一半，使参数量与原版Mamba块相当。把因果卷积换成普通卷积，则是因为图像任务不需要时序因果约束。自注意力部分采用窗口划分，第3阶段窗口为14、第4阶段为7。

flowchart LR

A[输入图像] --> B[Stem: 2×3×3 卷积]

B --> C[阶段1-2: 卷积残差块]

C --> D[阶段3: 前半 Mixer / 后半 自注意力]

D --> E[阶段4: 前半 Mixer / 后半 自注意力]

E --> F[分类或下游任务头]

发展历程

2024年7月10日，论文预印本提交至arXiv，同期作者公开了代码与模型权重^[6]。7月11日发布pip安装包，7月14日增加对任意分辨率图像输入的支持，7月24日在Hugging Face上发布预训练模型^[3]。

2025年2月26日，该工作被CVPR 2025接收；3月25日更新版论文与基于ImageNet-21K的模型权重公开，作者称其为首个大规模Mamba系视觉骨干^[3]。同年6月，论文在纳什维尔举行的CVPR 2025会议上以海报形式展示，并收录于会议论文集第25261至25270页^[1]。

应用

在ImageNet-1K图像分类上，MambaVision各规模变体在Top-1准确率与吞吐量两个维度上报告了新的帕累托前沿；以最小规模为例，MambaVision-T在224×224分辨率下取得82.3%的Top-1准确率，参数约3180万，吞吐量约每秒6298张图像^[5]。基于ImageNet-21K预训练的较大变体MambaVision-L3-512-21K报告了88.1%的Top-1准确率^[3]。

在下游密集预测任务上，作者报告其在MS COCO数据集的目标检测、实例分割以及ADE20K数据集的语义分割中优于同等规模的骨干网络^[1]。后续研究也把它作为通用特征提取器用于具体领域，例如将其作为检测器骨干用于变电站设备检测，以及用于乳腺组织病理图像的良恶性二分类^[7][8]。

模型可从PyTorch实现、pip包以及Hugging Face三种途径加载，并支持特征提取时的多尺度中间输出^[3]。

局限

MambaVision的混合结构本身是为分类与通用特征提取设计的骨干，其报告的优势指标集中在ImageNet-1K的精度-吞吐量权衡与常规检测分割基准上，公开材料未给出在生成式任务、跨域迁移等场景的系统评测^[1]。

对状态空间模型在视觉上的固有短板，该架构只是部分缓解而非消除：其Mixer仍以特定顺序扫描标记，第三方研究指出这类扫描会引入偏置、难以完整保留空间关系，并且对多方向扫描的依赖会带来额外开销^[9]。同一研究在AI生成图像检测任务上发现，包括MambaVision在内的视觉Mamba模型在同一生成器数据上表现尚可，但在未见过的生成器上准确率明显下降，约在70%左右，低于Transformer类与视觉语言模型^[9]。

在工程层面，MambaVision依赖选择性扫描等定制算子，其吞吐量数据来自作者在特定硬件与实现下的测量，实际部署表现会随软硬件环境变化^[5]。

参见

• Mamba —— MambaVision的名称来源，也是其核心模块所基于的选择性状态空间架构。

• Transformer —— MambaVision在后段阶段引入自注意力块所借用的基础模型结构。

• Vision Transformer —— 以纯自注意力处理图像的骨干网络，是MambaVision的直接对照对象。

• 状态空间模型 —— Mamba类视觉模型的数学基础，用以刻画序列的隐状态演化。

• ImageNet —— MambaVision报告分类精度的主要评测数据集。

• CVPR —— 收录MambaVision论文的计算机视觉领域会议。