均方误差

定义

均方误差描述的是估计量与被估计参数之间偏离程度的平均平方。设 $T$ 为无法直接观测的参数 $\theta$ 的估计量，则均方误差定义为误差平方的数学期望，即 $\operatorname{MSE}(T)=\operatorname{E}\left((T-\theta)^{2}\right)$，其中误差指估计值与被估计量之差^[1][2]。

在预测与机器学习的语境下，同一概念写成离散求和的形式：若有 $n$ 个样本，实际值为 $y_i$、预测值为 $\hat{y}_i$，则 $\operatorname{MSE}=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2$，即全部平方误差的平均值^[3]。也有文献把这一形式称为平均平方误差，并将其等效称为均方偏差、均方差^[4]。

该指标满足“越小越好”的评价方向：数值小意味着预测或估计更接近真值。由于平方项的存在，正负误差不会相互抵消，并且偏离较大的样本被赋予更高权重，这是它与简单平均误差的关键区别^[3]。

原理

均方误差可以拆成两部分。记偏差为 $\operatorname{bias}(T)=\operatorname{E}(T)-\theta$，方差为 $\operatorname{var}(T)$，则 $\operatorname{MSE}(T)=\operatorname{var}(T)+\left(\operatorname{bias}(T)\right)^{2}$，即方差与偏差平方之和^[1][2]。这一分解说明，均方误差同时反映估计的离散程度和系统性偏离程度，是偏差与方差的折中^[5]。

当估计量无偏，即 $\operatorname{E}(T)=\theta$ 时，偏差项为零，均方误差退化为估计量的方差；此时以均方误差衡量与以方差衡量结果一致。对存在偏倚的估计量，则需同时考虑方差和偏倚，方差很小而偏差较大的估计未必占优。

下面用 $n$ 个来自正态总体 $N(\mu,\sigma^{2})$ 的样本说明这一权衡：$\frac{1}{n}\sum(X_i-\bar{X})^2$ 是最大似然估计，方差较小但有偏；$\frac{1}{n-1}\sum(X_i-\bar{X})^2$ 无偏，但因方差较大，其均方误差反而更大^[1]。形如 $c\sum(X_i-\bar{X})^2$ 的估计在适当选择系数时还能进一步降低均方误差，说明有偏估计在均方误准则下可能优于无偏估计^[4]。

flowchart LR

A[真实值 y] --> C[误差 e = y - ŷ]

B[预测值 ŷ] --> C

C --> D[平方 e²]

D --> E[求和并除以样本数]

E --> F[均方误差 MSE]

F --> G[评估精度 / 训练优化]

发展历程

均方误差的度量思路与最小二乘思想一脉相承：以误差平方和作为拟合优劣的标准，能够用求导等微积分工具求得解析解，这一性质使它在估计理论中长期作为基础准则使用。均方误差与最小二乘法在形式上同源，后者以平方误差和最小化为目标确定参数。

在估计理论中，追求“一致最小均方误差估计”通常难以实现，因为这类估计一般不存于整个估计类中。因此研究者转而提出无偏性等合理性约束，形成一致最小方差无偏估计（UMVUE）的评价体系，均方误差成为比较估计量相对有效性的基础。

多元统计中的相关发现进一步说明了均方误差准则的意义：James 与 Stein 在 1956 年和 1961 年的工作中给出了多元正态均值的一种有偏估计，其均方误差表现优于经典的样本均值，即 James-Stein 估计^[5]。这一结果推动了压缩估计、正则化等以“牺牲少量偏差换取方差大幅下降”的方法发展。

应用

在参数估计中，均方误差用于比较不同估计方法的优劣：在某估计类中，若一个估计量对参数空间中每个取值都不逊于另一个估计量，则称其在均方误准则下更有效。由于计算直观且便于分析，它被视为实际应用中最广泛的估计量评价准则之一。

在机器学习中，均方误差是回归分析任务常用的损失函数，等同一批样本的平均 L2 损失，训练线性回归模型时通常以最小化它为目标^[3][6]。以一批含 5 个样本的数据为例，若各样本误差分别为 1、1、3、2、1，平方损失之和为 16，则均方误差为 16/5＝3.2^[3]。

在信号处理、图像处理与数据压缩等领域，均方误差被用作失真或重建质量的度量，用于比较不同算法在去噪、压缩重建等任务上的误差水平^[7]。模型评估中也常以训练集与测试集的均方误差之差判断泛化表现^[8]。

在应用中，均方误差常与均方根误差、平均绝对误差等指标配合使用，以便从不同角度刻画误差分布^[3]。

局限

均方误差对偏离大的样本极为敏感。以 5 个样本的批次为例，误差为 3 的单个样本可占均方误差约 56%，而每个误差为 1 的样本仅占约 6%；同样数据下，误差 3 的样本在平均绝对误差中只占约 38%^[3]。因此存在离群值时，该指标可能被少数样本主导，实践中会用裁剪等方式抑制极端值的影响^[3]。

均方误差对量纲敏感，其数值随目标变量单位变化，不同数据集、不同量纲模型之间难以直接比较；同时它并不给出误差的相对大小，需要借助其他指标补充判断。训练集上的均方误差偏低而测试集上偏高，往往提示过拟合，单看训练误差不足以评价模型^[8]。

作为估计准则，均方误差也并非唯一选择。绝对误差等准则对较大误差的惩罚较轻，在需要稳健性的场合更受青睐；而针对整个估计类寻找一致最小均方误差估计一般不可行，这是引入无偏性等约束的原因。

参见

• 均方根误差 —— 均方误差的算术平方根，量纲与原数据一致。

• 平均绝对误差 —— 以误差绝对值取平均的误差度量。

• 最小二乘法 —— 以误差平方和最小化为目标的参数估计方法。

• 偏差-方差权衡 —— 均方误差分解为偏差平方与方差后所反映的取舍关系。

• 损失函数 —— 均方误差常作为回归任务中的损失函数使用。