数据众包
定义
数据众包是一种通过开放招募把数据采集、数据标注等任务交由不特定大众分散完成的组织方式,任务发起方通常是人工智能企业、研究机构或开发者,承接方是通过网络注册的个体参与者[2]。它与传统外包的区别在于承接者并非事先签约的特定团队,而是自愿报名、数量不定的开放人群,产出的结果以碎片化、并行提交、集中汇总的形式交付[1]。
所谓数据标注,是对文本、图像、语音、视频等原始数据做归类、整理、纠错和批注,使其成为可供算法学习的带标签数据;数据众包正是完成这类工作的常见渠道[5]。从事这类零散任务的人员有时被称为微工人或托客,其工作内容多为识别、判断、转录等认知性微任务[4]。
原理
数据众包的基本流程是把一个大任务拆成大量可独立完成的微小单元,通过平台分发给众包参与者,再由发起方审核、聚合结果[1]。以小任务形式发布的项目常要求先看若干示例题,判定合格后才能继续作答,平台据此筛除明显不合格的提交[6]。
质量控制依靠多重机制。常见做法包括在各批次中插入答案已知的测试题、比对同一任务的多份作答、核查参与者的历史记录,并为结果加权计算置信度[6]。国内平台还会采用样本题、多人答案拟合、反作弊和人工审核等方式,以在低成本下维持数据可用性[7]。任务切分与结果汇聚可以概括为:原始数据分为微任务后并行分发,经审核与去噪后汇入训练集。
flowchart LR
A[原始数据] --> B[拆分为微任务]
B --> C[平台分发给众包参与者]
C --> D[参与者提交结果]
D --> E[测试题与交叉校验]
E --> F[审核与汇总]
F --> G[可用训练数据集]
发展历程
众包一词由美国《连线》杂志编辑杰夫·豪于 2006 年提出,指机构把原本由内部员工承担的工作,以公开号召的形式外包给不特定的大众网络[8]。他将众包应用区分为集体智慧、集体创造、集体投票和众筹 4 种类型[8]。
把这一模式用于数据处理的早期代表是亚马逊于 2005 年推出的 Amazon Mechanical Turk。该平台最初用于甄别亚马逊后台难以自动区分的重复商品页面,随后对外部开放,任务发起方发布被称为人类智能任务的单元,参与者按件领取并获取报酬[5]。2005 年,斯坦福大学研究团队从互联网下载近 10 亿张图片,通过该平台雇请约 5 万名参与者进行分类和标注,这批数据后来发展为 ImageNet 图像数据集[5]。
2007 年至 2010 年代,一批在通用平台之上提供质量控制工具和企业级工作流的专业数据标注服务商出现,标注需求随深度学习兴起而迅速扩大[9]。2019 年,澳大利亚数据标注企业 Appen 收购 Figure Eight,形成覆盖数据收集、标注到模型评估的服务体系[9]。2026 年 8 月,亚马逊宣布将于当年 9 月 30 日关停 Mechanical Turk 平台[10]。
中国境内的同类平台在 2010 年代陆续建立。京东于 2018 年 1 月发布面向人工智能领域的数据众包平台京东众智,从事数据清洗、提取和标注[11]。百度依托其数据众包平台开展标注与采集业务,据其 2018 年前后披露,平台日均在线标注人员超过 5000 人[7]。2026 年 9 月,觅蜂科技在上海发布面向物理人工智能的数据众包平台觅蜂派,参与者佩戴采集设备在真实场景中记录操作,平台按有效数据时长结算报酬[3]。
应用
数据众包最主要的用途是为机器学习模型提供训练数据,覆盖计算机视觉、语音识别、自然语言理解、人脸识别和自动驾驶等领域[12]。常见任务形式包括图像分类、目标框选、语义分割、语音转写和文本情感判断等[12]。
在语音和图像数据采集上,众包模式可用于在较短时间内获取大量真实样本。百度数据众包通过手机应用招募采集员,在全国 300 余个城市培养活跃采集人员,采集图片、语音、视频和全景照片等数据[7]。此类平台常把参与者按能力分层,组建核心用户小组承接质量或时效要求较高的项目[7]。
具身智能领域的应用是较晚出现的扩展方向。2026 年发布的觅蜂派覆盖 22 大类场景、5000 余项任务,任务内容包括取放、整理、搬运等通用操作以及装配、检修、照护等专业操作,采集设备记录第一视角视频、位姿以及触觉、力觉等多模态信息,经数据引擎处理、标注和分级后用于模型训练[3]。
局限
众包数据的质量存在明显波动。参与者未经专业训练,提交结果参差不齐,发起方往往还需投入额外精力清洗和整理[4]。在医学影像等专业领域,判断依赖执业经验,普通参与者难以胜任,相关数据集通常交由专业医生标注[4]。
参与者与任务的匹配、调度和结果汇聚本身构成技术难题。研究者指出,群体智能在大数据产业中仍面临群智资源管理、任务调度分配和结果汇聚等方面的挑战,需要学术界与产业界共同解决[13]。
报酬水平与劳动保障也是长期存在的问题。众包任务单价较低,部分任务被指报酬偏低,从业者收入不稳定[14]。此外,当参与者借助生成式工具完成本应由人工判断的任务时,平台所依赖的人工判断基础会被削弱,瑞士洛桑联邦理工学院研究人员 2023 年发表的研究估计,在摘要类任务中约有 33% 至 46% 的参与者使用了大型语言模型自动生成[10]。
数据合规与隐私保护是另一项制约。众包采集涉及人脸、语音等个人信息,平台需通过实名认证、敏感内容识别、信息脱敏和分类分级管理等机制保证来源与使用可追溯[3]。
参见
参考资料
- Crowdsourcing | IEEE Technology Navigator . ieee.org [引用日期2026-10-08]
- 人工智能中的 “人工” :众包平台的实践与反思 . people.com.cn [引用日期2026-10-08]
- 觅蜂科技推出觅蜂派,以众包模式扩大物理AI数据产能-赛迪网 . ccidnet.com [引用日期2026-10-08]
- 数据标注这份工作,也不是谁都能做的-品玩 . pingwest.com [引用日期2026-10-08]
- 人工智能中的 “人工” :众包平台的实践与反思 . people.com.cn [引用日期2026-10-08]
- Crowd Control . acm.org [引用日期2026-10-08]
- 百度数据众包平台 . baidu.com [引用日期2026-10-08]
- 众包新闻模式在农民工报道中的应用前景初探_新闻与传播研究_第3期_2017年_《新闻爱好者》期刊官网 . xwahz.com [引用日期2026-10-08]
- 众包平台如Amazon Mechanical Turk、Figure Eight(现Appen)的大规模数据标注简介,历 . csdn.net [引用日期2026-10-08]
- 亚马逊关闭MTurk,AI数据标注行业落寞——_国际金融报社 . ifnews.com [引用日期2026-10-08]
- 科普时报--数字报 . stdaily.com [引用日期2026-10-08]
- 在诸多微任务众包类型中,训练人工智能的专门化平台在中国发展较为成熟 . ilo.org [引用日期2026-10-08]
- 以技术为驱动力,百度智能云数据众包专注做好“AI赋能者” . baidu.com [引用日期2026-10-08]
- 没有人工哪来智能 . china.com.cn [引用日期2026-10-08]
浏览次数:4 次
阅读量:0 次 · 阅读完成量:0 次
最近更新:2026-10-08T12:23:22Z
完成率 = 阅读完成量 ÷ 阅读量,分母是阅读量不是浏览次数 —— 关了 JS 的、秒退的都在浏览次数里、不在阅读量里。 详细口径在后台的「数据统计」页。