Depth Anything V2

定义

Depth Anything V2是一种从单张彩色图像推断场景各点相对远近的深度估计模型，输出的是与输入图像同尺寸的深度图。它属于「基础模型」性质的方案：模型本身只预测相对深度，即像素之间谁近谁远，而不直接给出以米为单位的绝对距离；作者另行用度量深度标签对预训练权重做微调，得到可以输出绝对距离的版本。模型采用DINOv2作为图像编码器、DPT作为深度解码器的组合，与第一代保持相同骨架^[3]。

公开的模型按编码器规模分为Small、Base、Large、Giant 4档，参数量分别约为2480万、9750万、3.353亿和13亿，其中Giant在发布时标注为尚未放出^[1]。

原理

模型的预测目标是仿射不变的逆深度，即在深度值上允许整体缩放和平移后再与真值比较，这使得同一套权重可以适配不同场景的绝对尺度^[2]。训练教师模型时使用两项损失：尺度与平移不变损失 $\mathcal{L}_{ssi}$，以及约束局部深度变化梯度的匹配损失 $\mathcal{L}_{gm}$，二者按 1:2 加权，其中梯度项在使用合成标签时对深度边缘的锐利程度帮助明显^[2]。

训练流程分为3个阶段。第一步只在合成图像上训练容量最大的教师模型，编码器取DINOv2-Giant；作者的对照实验显示，编码器规模不够大时，模型难以完成从合成域到真实域的迁移^[4]。第二步用该教师模型为大规模无标注真实图像生成深度伪标签。第三步只用这些伪标注的真实图像训练各档学生模型，这一步不再混入合成图像，作者称这种按标签层面的蒸馏可以在教师与学生容量差距很大时仍然奏效^[5]。

flowchart LR

A[合成图像 59.5 万张] --> B[教师模型 DINOv2-Giant]

B --> C[为 6200 万张真实图像生成伪标签]

C --> D[学生模型 Small / Base / Large / Giant]

D --> E[相对深度图]

D --> F[用度量深度标签微调]

F --> G[度量深度模型]

在伪标注图像上训练时，作者沿用第一代的特征对齐损失，以保留预训练DINOv2编码器携带的语义信息，并会忽略每张样本中损失最大的约10%区域，将其视为可能含噪的伪标签^[2]。全部图像在训练时把短边缩放到518，再裁剪为518×518的输入；教师阶段批大小为64、迭代16万次，学生阶段批大小为192、迭代48万次^[2]。

发展历程

第一代Depth Anything于2024年初发布，思路是用大规模无标注真实图像提供监督信号，但在极细结构以及透明、反光表面上的预测质量受真实深度标签噪声的限制^[6]。V2于2024年6月14日放出论文、项目主页、代码、模型、演示与评测基准^[7]。

此后数月该模型陆续接入多个生态：2024年6月22日发布基于Small和Base的较小规模度量深度模型，6月25日被纳入苹果的Core ML模型库，7月6日进入Transformers库的支持范围^[7]。据苹果公布的Core ML版本说明，其Small半精度模型在iPhone 12 Pro Max上的推理耗时约为31.1毫秒，在M3 Max的MacBook Pro上约为24.58毫秒^[3]。

2024年12月22日，团队发布Prompt Depth Anything，可在低分辨率激光雷达点作为提示的条件下输出4K分辨率的度量深度^[1]。2025年1月22日又发布Video Depth Anything，用于为超过5分钟的长时间视频生成前后一致的深度图^[1]。相关论文以《Depth Anything V2》为题发表于NeurIPS 2024^[1]。

应用

单目深度估计本身是三维视觉的基础环节，深度图可进一步用于点云生成、位姿估计与稠密重建^[8]。V2的模型谱系从2500万参数覆盖到13亿参数，小模型面向嵌入式与实时场景，大模型面向精度要求较高的三维重建任务^[9]。作者列举的用途包括视频特效、自动驾驶、三维建模、增强现实、安全监控与空间计算^[6]。

在部署层面，该系列模型已被转换为ONNX、Core ML、高通QNN等多种格式，可在开发板、手机与边缘计算设备上运行^[10][9]。例如在MaixCAM2这类嵌入式硬件上，可直接调用内置的V2小模型输出伪彩色深度图^[11]。在机器人领域，也有研究把V2用作空间基准计算模块，从单视角图像生成目标物体深度图以支持零样本操作。

局限

模型输出的相对深度值范围随图像内容变化，同一张图归一化后的结果并不能直接换算为米；对连续视频帧逐张推理时，深度绝对量会波动，画面会出现轻微闪动，因此官方强调该版本本身是针对单张图像的方法^[11]。若需要绝对距离，必须使用另外微调的度量深度模型，且其精度受微调数据覆盖范围限制。

作者自己也指出，在KITTI、NYU-D等传统零样本基准上，V2的数值只与第一代大致相当，在其中两个数据集上还略低；他们的解释是这些基准的标签本身存在噪声、场景单一且分辨率约500×500，无法反映模型在细结构与透明物体上的改进^[2]。为此提出的DA-2K基准由1000张图像、2000个稀疏像素点对组成，只评测点对的远近顺序，作者明确表示它不能替代稠密深度基准，可用于稠密重建的精度仍远高于稀疏点对所能刻画的水平^[2][12]。

训练成本同样是论文列出的限制：作者使用6200万张无标注图像训练，算力负担很重，后续需要研究更高效地利用这类大规模视觉数据；同时所用合成训练集的多样性仍不充分，需要从更多来源采集合成图像以训练更强的教师模型^[2]。另有针对玻璃等透明场景的研究发现，模型在歧义场景下倾向于稳定地选择某一层的深度进行报告，规模扩大并未自动消除这种倾向^[13]。

参见

• 单目深度估计 —— 本词条所属的任务类别，指仅凭单张图像推断场景深度。

• DINOv2 —— Depth Anything V2 各档模型使用的图像编码器。

• DA-2K —— 随本模型一同发布的稀疏点对相对深度评测基准。

• Video Depth Anything —— 由同一团队后续推出、面向长视频一致深度图的方法。

• Core ML —— 苹果的端侧机器学习框架，Depth Anything V2 的 Small 版本已被收录其中。