协方差矩阵

定义

设 $X=(X_1,X_2,\dots,X_n)^{\mathrm T}$ 是一个各分量方差有限的 $n$ 维随机向量，均值向量记为 $\mu=(\mu_1,\dots,\mu_n)^{\mathrm T}$。以各分量两两之间的协方差为元素构成的 $n$ 阶方阵即称为该随机向量的协方差矩阵，通常记作 $\Sigma$ 或 $\operatorname{var}(X)$，其定义为 $\Sigma=E[(X-\mu)(X-\mu)^{\mathrm T}]$^[1][3]。

按元素写出时，第 $i$ 行第 $j$ 列为 $\sigma_{ij}=\operatorname{cov}(X_i,X_j)=E[(X_i-\mu_i)(X_j-\mu_j)]$。由于同一分量与自身的协方差就是方差，主对角线上的 $\sigma_{ii}$ 即 $X_i$ 的方差；非对角线元素反映两个不同分量的协同变动方向，取值为正表示二者倾向于同向偏离均值，为负表示反向偏离^[1][4]。

由 $\operatorname{cov}(X_i,X_j)=\operatorname{cov}(X_j,X_i)$ 可知协方差矩阵是对称矩阵；又因任一实系数线性组合的方差都非负，它还是半正定矩阵。只有对称半正定矩阵才可能是某个随机向量的协方差矩阵，这一条件同时也是充分的^[4][5]。

部分文献沿用概率学家费勒的用法，把该矩阵直接称为随机向量的“方差”；因其对角线元素为方差，也常写作方差–协方差矩阵。中文文献中另有协差阵、离差矩阵等称呼^[4]。

实际计算中常用样本协方差矩阵估计总体值，即 $S=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar x)(x_i-\bar x)^{\mathrm T}$，其中 $x_i$ 为第 $i$ 个观测向量，$\bar x$ 为样本均值向量，分母取 $n-1$ 是为得到无偏估计^[2][6]。

原理

协方差矩阵之所以能描述多维离散情况，关键在于二次型 $a^{\mathrm T}\Sigma a$ 恰好等于线性组合 $a^{\mathrm T}X$ 的方差。取遍所有方向上的单位向量，二次型给出数据在该方向上投影的方差，其最大值即矩阵的最大特征值，对应的特征向量就是方差最大的方向，这构成了主成分分析的几何基础^[5]。

对协方差矩阵作特征值分解（谱分解）可得 $\Sigma=V\Lambda V^{\mathrm T}$，其中 $V$ 的列是相互正交的单位特征向量，$\Lambda$ 的对角元为按降序排列的非负特征值。几何上，$2\times 2$ 协方差矩阵对应平面上的一个椭圆，$3\times 3$ 对应空间中的椭球，主轴长度与特征值的平方根相关，特征向量给出主轴方向。

协方差矩阵对线性变换有简洁的传递规则：若 $Y=AX+b$，其中 $A$ 为常数矩阵、$b$ 为常数向量，则 $Y$ 的协方差矩阵为 $A\Sigma A^{\mathrm T}$。这一性质使得变量经过平移、旋转、缩放后的不确定性可以直接由原矩阵算出，被称作协方差运算的代数规则^[3][7]。

若两个分量的协方差为零，称它们不相关；但对一般的分布，不相关并不蕴含相互独立。只有当随机向量服从多元正态分布时，协方差矩阵为零的非对角块才与分量的独立性等价，因此该矩阵在正态情形下刻画了全部分量间的依赖结构^[3][8]。

多元正态分布的密度函数写作 $\varphi(x)=\frac{1}{\sqrt{(2\pi)^n\det\Sigma}}\exp\left(-\frac{1}{2}(x-\mu)^{\mathrm T}\Sigma^{-1}(x-\mu)\right)$，均值向量与协方差矩阵共同完全确定该分布。由此，协方差矩阵成为描述多维随机变量概率分布的直接参数^[9][1]。

发展历程

协方差的思想可追溯到 19 世纪对变量间关系的定量研究。卡尔·皮尔逊在 1896 年发表的论文中给出相关系数的标准化形式，其中以协方差与两变量标准差之比定义相关系数，通常被视为协方差与相关系数形式化定义的起点；在此之前，高尔顿等人在遗传学与人体测量研究中已间接使用过类似思想^[10][11]。

从单变量走向矩阵形式的标志性工作是 1928 年。约翰·威沙特当年在《生物计量学》上发表论文，用几何方法导出正态总体下样本协方差矩阵的精确分布，该分布后被称作威沙特分布，成为一元卡方分布在多维情形的推广^[12][13]。

学界通常把 1928 年威沙特分布的导出视为多元统计分析成为独立学科的开端。此后在 20 世纪 30 年代，费希尔、霍特林、许宝騄、罗伊等人围绕协方差矩阵的分布、特征根分布与检验统计量做出一系列奠基性工作，其中霍特林于 1933 年提出的主成分分析直接以协方差矩阵的特征分解为工具^[12][14]。

20 世纪 50 年代中期以后，电子计算机的普及使需要大量矩阵运算的多元方法进入地质、气象、生物、图像处理、经济分析等领域，协方差矩阵的估计与分解随之成为常规计算步骤。近年高维数据的大量出现，又推动了收缩估计、稀疏精度矩阵与随机矩阵理论等针对协方差矩阵估计的新方法^[14][15]。

应用

在降维与特征提取中，主成分分析对协方差矩阵（或相关矩阵）作特征分解，按特征值由大到小选取若干方向作为主成分，从而用较少的新变量概括原始多个变量的变异。实际计算时常用累计贡献率达到某一比例作为保留主成分个数的判据^[14][16]。

在距离度量与判别分析中，马氏距离以协方差矩阵的逆作为权重，计算 $D^2=(x-\bar x)^{\mathrm T}C^{-1}(x-\bar x)$，既消除了各分量量纲差异，也计入了分量之间的相关性，因而被用于异常检测、故障诊断与缺损数据补值等问题^[17][18]。

在状态估计与数据融合中，协方差矩阵用来表示估计量的不确定度。卡尔曼滤波以协方差矩阵记录状态估计的误差分布，并在预测步与更新步中通过矩阵运算把新观测与先验估计按不确定性加权融合，是导航、跟踪与控制系统中的常用工具^[7]。

在统计建模中，协方差矩阵是一个核心参数：多元正态分布由均值向量与协方差矩阵共同确定；判别分析、因子分析、典型相关分析等方法均以样本协方差矩阵或样本相关矩阵为出发点；结构可靠性与重要性测度研究中也借助多输出协方差矩阵衡量各输入对输出分散性的贡献^[9][19]。

局限

协方差矩阵只刻画线性关联。两个分量之间若存在明显的非线性关系，协方差仍可能接近或等于零，因此“不相关”不能直接理解为“无关”，把协方差矩阵当作依赖结构的完整描述会遗漏信息^[11][20]。

协方差带有量纲，其数值大小随变量的计量单位变化，不同变量对之间的协方差数值不能直接横向比较。通常需要把协方差矩阵换算为标准化的相关矩阵，即在两侧分别乘以标准差构成的对角阵的逆平方根，才能得到无量纲的相关系数^[6][3]。

用样本估计协方差矩阵时，若变量个数接近或超过样本量，矩阵容易接近奇异甚至不可逆，其逆矩阵的估计也变得不稳定，以逆矩阵为基础的马氏距离等方法随之失效。针对这种情况，常用的补救办法包括引入广义逆、对矩阵作收缩估计或施加稀疏惩罚^[2][15]。

当分量之间存在线性相关时，协方差矩阵的行列式为零、不可逆，马氏距离与需要求逆的判别方法均无法直接使用，此时只能改用广义逆或谱分解加权的替代形式^[18][19]。

协方差矩阵衡量的仅是二阶矩信息，对分布的偏斜、厚尾等更高阶特征不作描述；此外它对离群点较为敏感，少量异常观测就可能明显改变估计结果，因此实际使用中常需先做数据清洗或采用稳健估计^[2]。

参见

• 协方差 —— 两个随机变量协同变动的度量，是协方差矩阵的元素来源。

• 方差 —— 单个随机变量的离散程度，在协方差矩阵中位于主对角线。

• 相关系数 —— 由协方差标准化得到的无量纲指标，对应相关矩阵的元素。

• 主成分分析 —— 通过协方差矩阵的特征分解实现降维的统计方法。

• 马氏距离 —— 以协方差矩阵的逆为权重的距离度量。

• 威沙特分布 —— 正态总体下样本协方差矩阵所服从的分布。