特征提取

定义

特征提取指从原始数据中计算、筛选出一组能够代表对象性质的量，并把它们组成特征向量的过程。这些量可以指信号的时间统计量，也可以指图像中的纹理、边缘或局部结构。经过处理，原本维度很高、含噪声的原始数据就被转换成维度较低且表示意义更明确的形式。

从功能上看，特征提取属于降维流程的一部分。数据集变量过多会带来存储和计算上的压力，而提取出的特征数量远少于原始维度，同时保留任务所需的主要信息，因此常被视为把原始数据转成可交给决策算法使用的有意义数据的环节。

特征提取与特征降维中的另一种操作关系密切：前者用变换或构造的方式产生新特征，后者中的特征选择则从原有变量里挑出子集。二者的目标相近，都是为了得到紧凑而有效的表示^[1]。

在本词条的另一种用法中，特征提取也曾被用来指言语识别的一条路径：发音人逐词朗读建立样板，计算机逐帧分析并取出频谱包络、共振峰、线性预测系数等参数^[2]。可见同一术语在不同文献中的指称范围并不完全一致。

原理

多数特征提取方法的共同思路是寻找一种映射，把$d$维的输入$\boldsymbol{x}$变成$k$维的输出$\boldsymbol{z}$（$k<d$），并使$\boldsymbol{z}$尽量保留原数据中与任务相关的结构。线性方法用投影矩阵实现这一变换，非线性方法则借助核函数或神经网络完成更复杂的映射。

以应用最早也最广的主成分分析为例，它先计算数据的协方差矩阵，再做特征值分解，取特征值最大的若干个特征向量作为新的坐标轴。把样本投影到这些轴上，得到的新变量之间线性不相关，且前几个分量集中了原始变量的主要变异。可用式子写为$\boldsymbol{z}=\boldsymbol{V}^{\top}\boldsymbol{x}$，其中$\boldsymbol{V}$由前$k$个特征向量构成^[3]。

对于图像这类既有空间结构又有尺度变化的数据，提取流程通常更复杂。尺度不变特征变换先把图像与不同尺度的高斯核卷积，建立尺度空间，再以相邻尺度的高斯差分图像中，对局部邻域内的像素取极值，作为关键点候选；随后筛选稳定性较好的候选点，按局部梯度方向赋予主方向，最后统计邻域梯度形成描述子，使特征对旋转、尺度缩放和亮度变化保持一定程度的不变性^[4]。

flowchart LR

A[原始数据采集] --> B[预处理与去噪]

B --> C[特征变换或计算]

C --> D[筛选与归一化]

D --> E[特征向量]

E --> F[分类器或预测模型]

深度学习方法省去了人工设计特征这一步，把特征提取交给网络自身完成。构成网络的多层卷积滤波器可以从简单模式逐层组合到复杂模式，因此同一套结构既能用于识别边缘、纹理，也能通过更换任务层去适配不同问题^[5]。

发展历程

统计意义上的特征提取起点通常追溯到1901年，英国数学家卡尔·皮尔逊提出用直线或平面拟合空间中点集的方法，这一工作被看作主成分分析的开端。此后该方法在多个学科被重新提出并赋予不同名称，例如信号处理中的卡胡南-洛埃变换（Karhunen-Loève transform）、气象学中的经验正交函数分解^[3][6]。

1933年前后，哈罗德·霍特林以代数形式重述这一方法，将协方差矩阵的特征向量解释为主轴，主成分分析这一名称也随之确定下来。此后，它与奇异值分解的联系被进一步阐明，逐步成为多元统计和机器学习中的标准工具^[6]。

在图像领域，1999年大卫·洛提出尺度不变特征变换，并在2004年发表更完整的版本，用关键点及其描述子表达局部外观，解决了此前角点检测方法对图像缩放敏感的问题。此后出现的加速稳健特征（SURF）等方法对它做了近似与提速，也有研究借助主成分分析压缩描述子维度以减少内存占用^[4][7]。

2010年代以后，卷积神经网络在图像分类竞赛中取得优势，特征提取的重心由人工设计描述子转向由数据驱动学到的层级表示。预训练网络去掉最后的分类层后，其中间层的激活值可直接当作通用特征使用，这一做法在迁移学习中被普遍采用。

应用

在图像与视频处理中，特征提取用于目标识别、图像拼接、三维重建和动作识别等任务。局部关键点描述子可用于在大量图像之间快速匹配，全局特征则用于表达整体外观；组合不同来源的描述子往往能得到比单一方法更高的识别准确率^[4][5]。

在生物医学与工业监测中，心电、脑电等信号需先经过特征提取才能进入分类环节。例如从心电信号中可提取心搏间期等指标，用于反映心率变异性；在机床加工监测中，信号常被分为时域、频域和时频域三类特征，分别描述统计参数、频谱分布以及非平稳变化。

在文本与多模态数据处理中，词序列可先映射为词向量，再通过对相邻词向量的处理提取能体现语序的动态特征；视频则先对关键帧提取静态特征，再综合相邻帧的变化得到动作信息，二者结合后可用于判断视频与文本是否匹配^[8]。

在软件工程与模型可靠性分析中，特征提取也被用于问题定位：从图像中提取特征后进行聚类，可把模型出错的样本归入若干根因类别，工程师只需检查少量代表性样本，就能替代逐张查看全部错误图片的做法^[9]。

局限

特征提取必然伴随信息损失。降维后保留的是原始数据中方差较大或与任务相关的部分，若关键判别信息恰好落在被舍弃的方向上，后续分类性能就会下降。主成分分析按方差大小排序取轴，并不考虑类别标签，因此所保留的未必是分类最需要的信息，研究中才出现了引入监督信号的改进版本^[1]。

经典方法对数据条件有较强假设。主成分分析在数据含离群值或受到污染时容易产生有偏估计，需要借助稳健散点矩阵估计等手段加以修正。这类方法通常还假定变量之间的关系近似线性，遇到强非线性结构时表达效果有限^[3]。

人工设计的描述子往往针对特定变换设计，例如对旋转、尺度、亮度变化的容忍度，但对视角变化、仿射变换和遮挡只能提供有限稳定性。特征数量、计算代价与匹配速度之间也存在权衡，描述子维度越高，存储和匹配的开销越大^[4]。

数据驱动的深度特征虽减少了人工设计工作，但特征的物理含义难以解释，其质量依赖于训练数据与网络结构；更换数据集或任务后，往往需要重新训练或至少重新微调，跨领域迁移时性能未必稳定^[5]。

参见

• 主成分分析 —— 最常用的线性降维与特征提取方法之一。

• 尺度不变特征变换 —— 图像局部关键点与描述子的经典提取算法。

• 特征选择 —— 从原有变量中挑选子集，与特征提取同属降维手段。

• 卷积神经网络 —— 通过多层滤波自动学习层级特征的深度学习结构。

• 降维 —— 特征提取所服务的一类数据处理目标。