联邦学习
定义
联邦学习是一种机器学习设置,众多客户端在中央服务器的协调下训练同一个共享模型,而各自的训练数据留在数据生成的位置不动[1]。每一轮训练中,服务器下发当前模型参数,参与的客户端用本地数据算出更新,只有这些更新被回传并合并,原始记录不参与传输[1]。
与集中式机器学习把所有本地数据上传到一台服务器、以及假设各节点数据同分布的传统分布式方法相比,联邦学习面向的是数据分散、数量庞大且对隐私敏感的场景[4]。它可使用的模型不限于神经网络,也包括随机森林等算法[2]。
原理
典型流程按轮次推进:客户端从服务器下载通用全局模型,用本地数据训练后把模型更新加密上传,服务器对各方更新取平均得到新的全局模型并下发,如此反复直到模型达到预期性能或到达截止时间[5]。在这一过程中,每台设备的本地训练数据不会上传,也不与其他参与方交换[6]。
支撑这一流程的核心算法是联邦平均算法(FedAvg),它让每个客户端在本地对数据做多次迭代更新后再通信,从而用计算换取通信次数的大幅下降[6]。谷歌的工程实践表明,与简单地把随机梯度下降搬到联邦场景相比,联邦平均可将通信量降低 10 至 100 倍,更新压缩还可进一步削减上传开销[7]。
计算与通信行为由若干参数控制,包括每轮参与计算的客户端比例、每个客户端本地更新次数以及每次更新使用的本地数据量[6]。由于仅凭单点更新仍可能反推原始信息,实际部署通常在聚合环节叠加安全聚合、差分隐私,必要时再结合同态加密或多方安全计算[8]。
发展历程
联邦学习由谷歌研究人员于 2016 年提出,其论文首次描述了这一概念并给出联邦平均算法[6]。最初的动机是解决移动设备上的语言模型与图像模型更新问题:这类数据对隐私敏感且规模庞大,不宜为训练而集中留存[6]。
2017 年,谷歌在安卓默认输入法 Gboard 上测试联邦学习,手机在本地保存当前上下文与用户是否点击建议的记录,并在设备上处理这段历史以改进下一版查询建议模型[7]。同年,谷歌发布博客文章,正式向外界介绍了联邦学习这一概念[4]。2019 年,谷歌实现了首个产品级的联邦学习系统,主要侧重运行在手机上的联邦平均算法,并可用于联邦分析,即在不把原始设备数据记入云端的情况下监控大规模集群设备的统计数据[4]。
在算法分类上,研究者随后把联邦学习划分为横向联邦学习、纵向联邦学习和联邦迁移学习三类,其中横向联邦学习按数据矩阵的行方向划分,要求各方数据特征对齐而样本重叠较少[2]。后续研究还针对通信效率、参与方选择和系统鲁棒性对联邦平均算法提出了大量改进[2]。
应用
移动终端是最早的落地场景。Gboard 借助联邦学习从数百万台手机学习下一个词的预测,而输入文本不会发送到谷歌的服务器[8]。在医疗领域,多家医院可以在患者数据不离开各自机构的前提下联合训练诊断模型,例如基于核磁共振和计算机断层扫描影像的脑肿瘤检测,从而在保持数据本地化的同时提升跨人群、跨设备的诊断精度。
金融领域用联邦学习在不汇集客户机密数据的情况下开展协作,例如多家银行各自在自有交易数据上训练模型,再聚合出能够识别单家机构难以发现的复杂欺诈手法的全局模型,也可用于信用评估和反洗钱[9]。此外,联邦学习还被用于智慧医疗、金融风险管理、智慧城市建设和物联网等场景[10]。
局限
数据异质性是首要难题。实际场景中客户端的本地数据往往不满足独立同分布假设,存在类别不平衡、样本数量不均等问题,会拖慢收敛速度并拉低最终性能[3]。在节点数据高度非独立同分布时,实现均衡的模型收敛尤为困难,容易产生有偏的结果。
通信开销构成系统性瓶颈。联邦训练的收敛依赖客户端与服务器之间频繁的信息交换,在资源受限的物联网与边缘计算环境中这一问题更为突出,本地资源高度异构还会导致部分客户端完成一轮训练的时间明显更长[11]。
隐私并不因数据不出本地而自动得到保证。共享的模型梯度仍可能泄露训练数据的信息,攻击者可通过梯度反演重建输入,也可实施成员推断等攻击[11]。去中心化架构还使系统更易受到模型投毒、拜占庭故障和复杂推断攻击的影响[12]。相应的防御手段各有代价:差分隐私需要注入足量噪声,往往明显影响模型精度,且对模型反演攻击的防御效果有限[11];同态加密与安全多方计算在理论上有效,但计算与通信开销高昂,难以用于轻量级边缘设备。
联邦学习也无法覆盖全部机器学习问题。谷歌指出,对于需要在人工精心标注样本上训练的任务,以及训练数据本就存储在云端的模型,例如垃圾邮件过滤器,继续使用云端机器学习更为合适[7]。
客户端行为的不确定性带来额外治理问题。参与方可能随时退出,也存在着只获取模型更新而不做实质训练的搭便车行为,会削弱系统的公平性与协作基础。
参见
参考资料
- Federated learning | IEEE Technology Navigator . ieee.org [引用日期2026-10-08]
- AIR学术|刘洋:联邦学习的技术挑战和应用展望 . tsinghua.edu.cn [引用日期2026-10-08]
- 第48卷 第2期 . ict.ac.cn [引用日期2026-10-08]
- “联邦学习”这个新名词,你真的需要了解一下 - 工业和信息化部主管 中国电子报社主办 . cena.com.cn [引用日期2026-10-08]
- A Survey on federated learning . ieee.org [引用日期2026-10-08]
- 联邦学习的提出 | 从分散数据通信高效学习深度网络 . tencent.com.cn [引用日期2026-10-08]
- federated-learning-collaborative . research.google [引用日期2026-10-08]
- Federated Learning . cyberglossary.org [引用日期2026-10-08]
- lifebit.ai 上的网页 . lifebit.ai [引用日期2026-10-08]
- keywords . ieee.org [引用日期2026-10-08]
- acm.org 上的文件 . acm.org [引用日期2026-10-08]
- wiley.com 上的网页 . wiley.com [引用日期2026-10-08]
浏览次数:3 次
阅读量:0 次 · 阅读完成量:0 次
最近更新:2026-10-08T12:23:25Z
完成率 = 阅读完成量 ÷ 阅读量,分母是阅读量不是浏览次数 —— 关了 JS 的、秒退的都在浏览次数里、不在阅读量里。 详细口径在后台的「数据统计」页。