大数据时代

定义

大数据时代指信息化进入以数据深度挖掘和融合应用为主要特征的阶段。国务院 2015 年印发的《促进大数据发展行动纲要》把大数据描述为以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，并指出它正发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值的新一代信息技术和服务业态^[1]。

学术界对大数据本身尚无完全统一的定义。麦肯锡公司给出的表述是：其规模超出传统数据库软件工具的获取、存储、管理和分析能力的数据集合；维基百科则强调数据量大到主流软件在合理时间内难以撷取、管理和处理^[2]。业界通常用 4V 概括其特点，即体量巨大、类型繁多、处理速度快和价值密度低^[3]。

作为时代概念，它的关键变化在于分析对象和分析方式：从抽取部分样本推断总体，转向尽可能处理与某现象相关的全部数据；从追求精确求解，转向接受近似结果；从追问因果机制，转向先利用相关关系作出预测。

原理

大数据处理通常分为采集、存储、计算、分析与呈现几个环节。数据来源包括业务系统、传感器、日志与公开数据，采集后要经过清洗、填补与规范化等预处理，把噪声较大的原始数据整理成可用形态；存储环节依靠分布式文件系统、非关系型数据库和列式存储来承载 PB 级以上的数据量^[4]。

计算环节依靠集群并行处理，把一项大任务切分到数十至数千台机器上执行，MapReduce 一类框架是其中的代表。分析环节使用统计方法、数据挖掘与机器学习，从数据中提取模式与关联；由于单台计算机无法承担海量数据的运算，大数据技术普遍与云计算提供的分布式处理、分布式数据库和云存储结合使用。

其背后的推理逻辑可以用条件分布表述：给定特征向量 $x$，模型估计 $P(y\mid x)$，据此对新样本给出预测标签 $\hat{y}=\arg\max_{y}P(y\mid x)$。这里的 $x$ 通常包含大量相互关联的变量，模型关注的是这些变量与结果之间的统计关联，而非变量之间的因果通路^[5]。

flowchart LR

A[业务系统/传感器/日志] --> B[数据采集]

B --> C[清洗与规范化]

C --> D[分布式存储]

D --> E[并行计算]

E --> F[统计分析与机器学习]

F --> G[预测结果与可视化]

G --> A

发展历程

“大数据”一词较早出现在 1998 年的一份国际会议报告中，美国科学家约翰·马西用它描述数据量快速增长带来的难理解、难获取、难处理和难组织四类问题。2007 年，数据库领域先驱吉姆·格雷提出，大数据将成为人类理解和逼近复杂系统的有效途径，与实验观测、理论推导、计算仿真并列^[6]。

2012 年，牛津大学教授维克托·迈尔-舍恩伯格与肯尼思·库克耶合著的《大数据时代：生活、工作与思维的大变革》出版并成为畅销书，书中提出分析模式将从随机采样、精确求解、强调因果，转向全体数据、近似求解和关注相关关系，这一说法推动了大数据概念的普及，2013 年也被一些媒体称为大数据元年。

在国家层面，美国于 2012 年宣布投入资金推动大数据相关产业发展；联合国同年发布大数据政务白皮书，讨论数据资源对政府实时分析社会经济运行的意义^[7]。中国国务院于 2015 年 8 月 31 日印发《促进大数据发展行动纲要》，提出加快建设数据强国，并把数据确定为国家基础性战略资源^[8]。

应用

商业领域是最早规模化应用的方向。零售与电商依据消费记录做个性化推荐和备货预测，金融机构用大数据分析处理风险管理、合规审查与客户流失问题，营销环节则依据用户行为数据改进产品定位与精准投放^[4]。推荐系统依靠用户与商品之间的关联模式生成候选结果，是相关关系分析的典型场景。

公共服务与治理是另一类主要应用。《促进大数据发展行动纲要》列出了医疗健康、社会保障、教育文化、交通旅游等工程方向，包括电子健康档案与电子病历数据库、综合交通服务大数据平台、跨部门数据融合与流量预警等^[1]。纲要同时提出建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制。

在科学研究中，大数据被视为继实验观测、理论推导、计算仿真之后的第四种研究手段，“数据+计算机+算法模型”的方法被用于探索复杂系统^[6]。公共卫生监测是常见例子：有研究利用搜索关键词的频次变化估计流感传播情况，其判断依据是海量查询行为与疾病流行之间的统计关联。

局限

大数据不等于更准确的结论。数据质量是首要约束：采集过程若不随机、存在遗漏或倾向性，样本量再大也可能得出偏离现实的结果，有研究指出带偏倚的大规模数据未必优于规范随机抽样得到的小样本^[9]。数据清洗中的缺失值、异常值与量纲差异，也会影响后续分析的有效性^[5]。

其次，基于相关关系的预测本身不能回答因果问题。大数据分析多以预测和模式识别为目标，而非因果推断；两个变量统计上同步变化，并不意味着其中一个引起另一个，据此干预可能失效^[5]。学界近年也指出，“只要相关、不要因果”更多是大数据时代初期的认知局限，而非成熟的方法论结论^[10]。

第三是数据的生成偏差与算法的不透明。平台数据来自自我选择的用户群体，全样本未必代表整体人群；深度学习模型常以“黑箱”方式运行，各因素对结果的贡献难以说明，训练数据中的偏倚还可能被复制甚至放大^[10]。此外，隐私保护与数据精度之间存在权衡，去标识化处理在降低重识别风险的同时会改变数据分布，进而影响分析结论。

参见

• 大数据 —— 大数据时代所依托的数据集合与技术体系。

• 云计算 —— 为海量数据提供分布式存储与计算资源的基础设施。

• 机器学习 —— 从数据中提取模式并用于预测的主要分析手段。

• 数据挖掘 —— 在大型数据集中发现隐藏模式与关系的技术。

• 数字经济 —— 以数据为主要生产要素的经济形态。

• 促进大数据发展行动纲要 —— 中国推动大数据发展的国家级政策文件。