SAM 2
SAM 2(Segment Anything Model 2)是 Meta 旗下基础人工智能研究团队(FAIR)于 2024 年 7 月发布的可提示视觉分割基础模型,是 2023 年推出的分割一切模型(SAM)的升级版本。它在 SAM 图像分割能力的基础上把任务扩展到视频,可依据点、框、掩码等提示在图像或视频中分割目标对象,并在视频各帧中持续跟踪。与 SAM 相比,其在图像分割上更准确、速度快 6 倍;在视频分割上交互次数约为既有方法的三分之一。模型代码与权重以 Apache 2.0 许可开源,训练所用的 SA-V 数据集同期公开。
定义
SAM 2 是一个面向可提示视觉分割(Promptable Visual Segmentation,PVS)任务的基础模型,能够在图像和视频中定位属于目标对象的像素并输出分割掩码[1]。所谓可提示,指模型不依赖预先设定的类别清单,而是由用户给出正向或负向点击、边界框或已有掩码来指定要分割的对象[1]。
与只处理静态图像的初代 SAM 不同,SAM 2 把图像视为只有一帧的视频,因而用同一套模型同时覆盖图像与视频两类输入[2]。在视频场景中,模型输出的不只是单帧掩码,而是贯穿整段视频的时空掩码,研究文献中称为 masklet[1]。
原理
模型整体沿用编码器—解码器结构,由图像编码器、提示编码器、记忆编码器、记忆库、记忆注意力模块与掩码解码器组成[3]。图像编码器采用以 MAE 方法预训练的 Hiera 主干网络,具备层次化特征,解码阶段可使用多尺度信息;在一次交互过程中它只运行一次,为每一帧提供无条件的特征嵌入[1]。
视频处理的关键在于记忆机制。掩码解码器使用的帧特征并不直接来自图像编码器,而是先经记忆注意力模块,以过去帧的特征、预测结果以及物体指针为条件进行修正[1]。当前帧的预测经记忆编码器写入记忆库,供后续帧调用,使模型可以逐帧流式处理任意长度的视频[4]。
提示编码器与初代 SAM 一致,支持点击、框和掩码;稀疏提示以位置编码与可学习嵌入相加表示,掩码提示则通过卷积嵌入[1]。当提示存在歧义时,模型可输出多个候选掩码,例如点击自行车轮胎时同时给出轮胎与整车两种理解[4]。针对目标被遮挡的情形,模型另设遮挡预测分支,用于判断对象当前是否可见[5]。
交互流程通常分为选择与细化两步:用户在第一帧点击目标,模型将分割结果向后续帧传播;若某些帧丢失目标,可在任意一帧追加提示进行纠正[4]。由于记忆模块在纯图像输入时为空,模型此时的行为与初代 SAM 接近[4]。
发展历程
2024 年 7 月 29 日,Meta 发布 SAM 2,并在 SIGGRAPH 会议上展示了视频分割演示,同时公开模型代码、权重与数据集。代码与权重采用 Apache 2.0 许可发布,评估代码按 BSD-3 许可分享,SA-V 数据集以 CC BY 4.0 许可公开[4]。
与模型一同发布的 SA-V 数据集包含约 5.1 万个真实场景视频和超过 60 万个时空掩码,视频数量为此前最大同类数据集的 4.5 倍,标注数量约为其 53 倍[3]。数据采集依托所谓数据引擎,由标注者与模型在循环中反复交互,用模型输出辅助标注、再用标注修正模型[1]。
2024 年 9 月 29 日,Meta 更新发布 SAM 2.1,提供 4 种规模的改进权重,并开放训练与微调代码、网页演示的前后端代码[6]。相较原版,2.1 版引入模拟视觉相似物体与小物体的数据增强,并通过在更长帧序列上训练、调整空间与物体指针记忆的位置编码来改善遮挡处理[7]。以其中最大规模模型为例,参数量约 2.244 亿,在 SA-V 测试集上的 J&F 指标为 79.5[6]。
应用
视频编辑是直接受益的方向。借助一次点击后在整段视频中传播掩码的能力,原先需要逐帧手工抠像的工作可缩短到数次交互,掩码结果还可与生成式视频模型结合制作视觉效果。
在混合现实与增强现实设备中,实时分割可用于识别现实环境中的物体,为虚拟元素与现实场景的交互提供依据。在自动驾驶场景,模型可用于识别行人、车辆、路牌与障碍物;在遥感与生态监测中,可用于分割森林、水体、建成区等地物,跟踪地表变化[8]。
科学图像分析是另一类用途,包括声呐图像中的水下目标分割、细胞图像分割等;初代 SAM 在这些方向已有应用基础,SAM 2 在其上进一步提升[9]。此外,该模型被大量用作视觉数据标注工具,以降低构建计算机视觉训练集的人工成本。
局限
计算开销是主要制约。图像编码器参数与计算量占比最高,新引入的记忆相关模块同样是延迟瓶颈,因此仅替换为轻量主干网络不足以让模型在移动设备上流畅运行[10]。有研究指出,记忆注意力的复杂度随记忆库帧数、特征通道数与空间尺寸增长,构成移动端部署的障碍[10]。
在复杂场景下,模型对高速运动物体的细节可能丢失,逐帧预测的稳定性会下降,拥挤场景中外观相似的目标也可能被混淆,这也是实际系统常需搭配其他传感器的原因[8]。遮挡虽经专门设计有所缓解,仍是视频分割的难点,后续版本才针对性地做了改进[7]。
领域适配性亦有限。综述类研究认为,该模型在医学影像、自动驾驶等专门领域的表现仍需进一步优化[11]。此外,若公开数据集曾参与训练,评测分数可能因数据重叠而偏高,这一点在使用公开基准衡量其零样本能力时需要留意。
提示方式本身也带来不确定性:同一提示可能对应多种合理的分割范围,模型只能按置信度择一输出,结果依赖用户追加提示予以约束[4]。
参见
-
分割一切模型 —— SAM 2 的前代模型,仅面向静态图像分割。
-
计算机视觉 —— SAM 2 所属的学科领域,对象分割是其基础任务之一。
-
Transformer —— SAM 2 编码器与记忆注意力模块所采用的网络架构基础。
-
零样本学习 —— SAM 2 无需针对新场景微调即可分割未见对象的能力来源。
-
图像分割 —— SAM 2 输出掩码所要解决的核心任务类型。
参考资料
- SAM 2: Segment Anything in Images and Videos [引用日期2026-10-29]
- README [引用日期2026-10-29]
- SAM 2：分割一切模型 2 | Ultralytics 文档 [引用日期2026-10-29]
- Meta「分割一切」进化2.0！跟踪运动物体，代码权重数据集全开源 [引用日期2026-10-29]
- Meta「分割一切」进化2.0！一键跟踪运动物体，代码权重数据集全开源，网友：真正的OpenAI [引用日期2026-10-29]
- pypi.org 上的网页 [引用日期2026-10-29]
- 一文看尽Meta开源大礼包！全面覆盖图像分割、语音、文本、表征、材料发现、密码安全性等 [引用日期2026-10-29]
- SAM 2 Applications: Meta AI Segment Model [引用日期2026-10-29]
- 20240730-meta-segment-anything-2-sam [引用日期2026-10-29]
- EdgeTAM: On-Device Track Anything Model [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]