数据众包

义项:一种数据采集与标注方式
数据众包

数据众包是依托互联网平台,把数据采集、标注等任务以公开招募的方式分发给不特定大众完成,再经质量审核后汇总为可用数据的一种组织方式[1]。它建立在众包概念之上,是人工智能训练数据的主要供给途径之一,被广泛用于计算机视觉、语音识别和具身智能等领域[2][3]。其重要性在于,机器难以自动处理而人类易于判断的任务,可以借此获得规模化的人力支持[4]。

目录
  1. 定义
  2. 原理
  3. 发展历程
  4. 应用
  5. 局限
  6. 参见

定义

数据众包是一种通过开放招募把数据采集、数据标注等任务交由不特定大众分散完成的组织方式,任务发起方通常是人工智能企业、研究机构或开发者,承接方是通过网络注册的个体参与者[2]。它与传统外包的区别在于承接者并非事先签约的特定团队,而是自愿报名、数量不定的开放人群,产出的结果以碎片化、并行提交、集中汇总的形式交付[1]。

所谓数据标注,是对文本、图像、语音、视频等原始数据做归类、整理、纠错和批注,使其成为可供算法学习的带标签数据;数据众包正是完成这类工作的常见渠道[5]。从事这类零散任务的人员有时被称为微工人或托客,其工作内容多为识别、判断、转录等认知性微任务[4]。

原理

数据众包的基本流程是把一个大任务拆成大量可独立完成的微小单元,通过平台分发给众包参与者,再由发起方审核、聚合结果[1]。以小任务形式发布的项目常要求先看若干示例题,判定合格后才能继续作答,平台据此筛除明显不合格的提交[6]。

质量控制依靠多重机制。常见做法包括在各批次中插入答案已知的测试题、比对同一任务的多份作答、核查参与者的历史记录,并为结果加权计算置信度[6]。国内平台还会采用样本题、多人答案拟合、反作弊和人工审核等方式,以在低成本下维持数据可用性[7]。任务切分与结果汇聚可以概括为:原始数据分为微任务后并行分发,经审核与去噪后汇入训练集。


flowchart LR

A[原始数据] --> B[拆分为微任务]

B --> C[平台分发给众包参与者]

C --> D[参与者提交结果]

D --> E[测试题与交叉校验]

E --> F[审核与汇总]

F --> G[可用训练数据集]

发展历程

众包一词由美国《连线》杂志编辑杰夫·豪于 2006 年提出,指机构把原本由内部员工承担的工作,以公开号召的形式外包给不特定的大众网络[8]。他将众包应用区分为集体智慧、集体创造、集体投票和众筹 4 种类型[8]。

把这一模式用于数据处理的早期代表是亚马逊于 2005 年推出的 Amazon Mechanical Turk。该平台最初用于甄别亚马逊后台难以自动区分的重复商品页面,随后对外部开放,任务发起方发布被称为人类智能任务的单元,参与者按件领取并获取报酬[5]。2005 年,斯坦福大学研究团队从互联网下载近 10 亿张图片,通过该平台雇请约 5 万名参与者进行分类和标注,这批数据后来发展为 ImageNet 图像数据集[5]。

2007 年至 2010 年代,一批在通用平台之上提供质量控制工具和企业级工作流的专业数据标注服务商出现,标注需求随深度学习兴起而迅速扩大[9]。2019 年,澳大利亚数据标注企业 Appen 收购 Figure Eight,形成覆盖数据收集、标注到模型评估的服务体系[9]。2026 年 8 月,亚马逊宣布将于当年 9 月 30 日关停 Mechanical Turk 平台[10]。

中国境内的同类平台在 2010 年代陆续建立。京东于 2018 年 1 月发布面向人工智能领域的数据众包平台京东众智,从事数据清洗、提取和标注[11]。百度依托其数据众包平台开展标注与采集业务,据其 2018 年前后披露,平台日均在线标注人员超过 5000 人[7]。2026 年 9 月,觅蜂科技在上海发布面向物理人工智能的数据众包平台觅蜂派,参与者佩戴采集设备在真实场景中记录操作,平台按有效数据时长结算报酬[3]。

应用

数据众包最主要的用途是为机器学习模型提供训练数据,覆盖计算机视觉、语音识别、自然语言理解、人脸识别和自动驾驶等领域[12]。常见任务形式包括图像分类、目标框选、语义分割、语音转写和文本情感判断等[12]。

在语音和图像数据采集上,众包模式可用于在较短时间内获取大量真实样本。百度数据众包通过手机应用招募采集员,在全国 300 余个城市培养活跃采集人员,采集图片、语音、视频和全景照片等数据[7]。此类平台常把参与者按能力分层,组建核心用户小组承接质量或时效要求较高的项目[7]。

具身智能领域的应用是较晚出现的扩展方向。2026 年发布的觅蜂派覆盖 22 大类场景、5000 余项任务,任务内容包括取放、整理、搬运等通用操作以及装配、检修、照护等专业操作,采集设备记录第一视角视频、位姿以及触觉、力觉等多模态信息,经数据引擎处理、标注和分级后用于模型训练[3]。

局限

众包数据的质量存在明显波动。参与者未经专业训练,提交结果参差不齐,发起方往往还需投入额外精力清洗和整理[4]。在医学影像等专业领域,判断依赖执业经验,普通参与者难以胜任,相关数据集通常交由专业医生标注[4]。

参与者与任务的匹配、调度和结果汇聚本身构成技术难题。研究者指出,群体智能在大数据产业中仍面临群智资源管理、任务调度分配和结果汇聚等方面的挑战,需要学术界与产业界共同解决[13]。

报酬水平与劳动保障也是长期存在的问题。众包任务单价较低,部分任务被指报酬偏低,从业者收入不稳定[14]。此外,当参与者借助生成式工具完成本应由人工判断的任务时,平台所依赖的人工判断基础会被削弱,瑞士洛桑联邦理工学院研究人员 2023 年发表的研究估计,在摘要类任务中约有 33% 至 46% 的参与者使用了大型语言模型自动生成[10]。

数据合规与隐私保护是另一项制约。众包采集涉及人脸、语音等个人信息,平台需通过实名认证、敏感内容识别、信息脱敏和分类分级管理等机制保证来源与使用可追溯[3]。

参见

  • 众包 —— 数据众包所依托的总体组织模式,指机构以公开号召方式把任务外包给不特定大众。

  • 数据标注 —— 对原始数据添加标签的工作,是数据众包最主要的任务类型。

  • 群体智能 —— 通过汇聚大量个体判断来解决问题的能力,是数据众包的理论基础之一。

  • 机器学习 —— 数据众包产出的标注数据主要服务于其模型训练。

  • 亚马逊 —— 推出 Amazon Mechanical Turk 平台的企业,该平台是数据众包的早期代表。

  • 具身智能 —— 数据众包较晚进入的应用领域,用于采集真实操作数据。

词条评价
词条统计

浏览次数:4 次

阅读量:0 次 · 阅读完成量:0 次

最近更新:2026-10-08T12:23:22Z

历史版本

完成率 = 阅读完成量 ÷ 阅读量,分母是阅读量不是浏览次数 —— 关了 JS 的、秒退的都在浏览次数里、不在阅读量里。 详细口径在后台的「数据统计」页。

本条目引用的词条
众包 数据标注 群体智能 机器学习 亚马逊 具身智能
红色的还不存在。红链不是错误——它标出"这个概念被引用了但还没人写"。