基于边缘层级聚合的鲁棒性联邦学习方法研究

作者: 许斌 崔浩宇 邢薇 王倩茹

基于边缘层级聚合的鲁棒性联邦学习方法研究0

摘要:联邦学习(Federated Learning) 在不共享个人数据的前提下实现分布式模型训练,有效保护用户隐私并提升模型的性能和泛化能力。然而,传统联邦学习面临数据异质性、通信延迟等挑战,且易受反向攻击影响系统安全。为应对这些挑战,本文提出了一种基于边缘层级聚合的鲁棒性联邦学习方法(DEHFL) 。DEHFL 通过多层聚合策略优化通信效率与扩展性,并设计基于 K-means 聚类的相似度分簇算法,缓解 Non-IID 数据带来的模型漂移问题,同时增强模型在攻击情境下的稳定性与鲁棒性。实验结果表明,DEHFL 在 Non-IID 数据分布和恶意攻击环境下优于传统方法。在 MNIST 和Fashion-MNIST 数据集上,面对相同的中毒攻击时,DEHFL 的平均准确率相比传统方法提升了 10.08% 以上,验证了其在提高模型鲁棒性和实际应用可靠性方面的显著优势。

关键词:联邦学习;分层聚合;边缘计算;数据异质性;鲁棒性;数据隐私

中图分类号:TP391 文献标识码:A

文章编号:1009-3044(2025)04-0001-10 开放科学(资源服务) 标识码(OSID) :

0 引言

物联网与机器学习技术的迅猛发展催生了大量数据的产生,其中移动设备贡献了全球范围内显著的网络流量[1]。这些数据广泛应用于物体识别、语音识别、疾病诊断和个性化推荐等领域[2]。然而,将大量数据集中传输到中央服务器进行处理,不仅带来了高通信成本,还使用户隐私面临严重威胁,尤其是在医疗和金融等敏感领域[3]。

为了解决数据隐私与安全问题,联邦学习(Feder⁃ated Learning,FL) 作为一种分布式学习框架被提出。FL 通过中央服务器指导客户端在本地训练模型并上传更新参数,在优化全局模型的同时保护了数据隐私[4]。如图 1 所示,传统的联邦学习架构主要由中央服务器和多个客户端组成。客户端在本地收集数据并独立训练模型,随后将更新的模型参数上传至中央服务器。中央服务器通过聚合算法整合所有客户端的参数,更新全局模型,并将其分发至客户端设备用于下一轮训练。然而,该架构高度依赖中央服务器,其局限性主要体现在以下几个方面:单点故障风险、通信开销较高以及数据异质性对模型性能的显著影响。

为缓解上述问题,研究者近年来提出了结合边缘计算与联邦学习的架构(如图 2 所示) 。该架构通过构建客户端—边缘服务器—中央服务器的分层聚合结构,使客户端设备能够独立收集本地数据并完成模型训练,然后将更新的模型参数上传至最近的边缘服务器。边缘服务器负责接收多个客户端的参数并进行初步聚合,最后中央服务器整合来自所有边缘服务器的参数,生成全局模型,并通过边缘服务器层逐步分发至客户端。该架构利用边缘服务器进行分层聚合的策略,显著降低了通信成本,同时在一定程度上减少了 Non-IID 数据分布带来的影响[5]。

此外,考虑到模型可能遭受攻击的风险,研究者们开始更加关注提升 FL 架构的可靠性与可扩展性[6]。

尽管边缘计算结合联邦学习在一定程度上解决了传统架构的局限性,但现有研究多针对单一问题提出解决方案,尚未形成综合框架来应对分布式机器学习环境下FL所面临的三大重要挑战。

1) 客户端数据分布的显著异质性。例如用户的使用习惯、地理位置和语言偏好,以及物联网设备在不同环境下的数据采集不一致,导致非独立同分布(Non-IID) 。这种数据异质性会引发模型更新中的不一致性,进而影响模型性能和准确度。

2) 通信效率与数据异质性适应性不足。现有中心化架构虽通过边缘服务器分层聚合以减少客户端与中央服务器的通信负担,但在应对数据异质性方面效果有限。同时,大量数据传输带来了高通信成本和低效率的问题,难以满足 Non-IID 数据环境的需求。

3) 安全性与鲁棒性问题。在联邦学习环境中,数据和模型的分布特性使系统面临数据中毒、模型攻击和隐私泄露等安全风险。尽管现有方法通过技术手段增强模型的鲁棒性,但在应对恶意攻击方面仍然存在挑战。

为解决这些不足,本文提出了一种基于边缘层级聚合的鲁棒性联邦学习方法(DEHFL) 。该方法通过设计多层聚合策略克服传统方法的局限性,图3描述了 DEHFL 框架的多层聚合流程。客户端终端首先在本地训练并上传模型更新至对应的边缘服务器,边缘服务器基于分簇策略对簇内模型进行聚合,并选出代表性服务器。各代表性服务器进一步将聚合后的模型更新上传至云端完成全局整合,最终将更新后的全局模型下发至客户端终端以完成迭代。整个流程体现了分层聚合策略的高效性和鲁棒性。

DEHFL 架构包含3个核心模块:分层聚合提高了通信效率和扩展性;基于相似度的分簇聚合减轻了Non-IID 数据带来的数据漂移问题;多层聚合增强了系统在攻击下的鲁棒性。其主要贡献包括:1) 提出了基于边缘层级聚合的鲁棒性联邦学习方法,提升系统扩展性和容错能力,同时保障数据隐私和安全。2) 基于K-means 聚类的分簇方法,在边缘服务器之间按照相似度进行分簇,有效缓解了数据异质性对模型性能的影响。3) 设计了多层传输机制,降低通信成本,并增强模型在恶意攻击场景下的鲁棒性。4) 实验结果表明,DEHFL 在 MNIST 和 Fashion-MNIST 数据集的 Non-IID 分布与恶意攻击环境下的性能均优于现有方法,其平均准确率相比传统方法提升10.08% 以上,验证了其在分布式学习环境中的可靠性和实际应用价值。

1 相关工作

1.1 联邦学习

联邦学习(FL) 作为一种创新的分布式机器学习范式,由 McMahan等人[4]首次提出,其核心在于允许各数据所有者协同训练模型而不直接共享数据。作为FL 的核心算法,FedAvg 在效率和隐私保护方面取得了显著成效,但在实际应用中受到数据异质性(Non-IID) 、通信成本高以及安全性不足等问题的制约[7]。针对Non-IID 数据问题,研究者提出了多种改进策略。Smith 等人[8]针对数据在不同客户端分布不均匀的Non-IID 问题提出了优化策略,以改善系统性能和模型精度。而Li等人[9]通过 FedProx 算法改进了模型在Non-IID 场景下的收敛性和稳定性。同时,Mohri 等人[10]进一步探讨了在多客户端场景下实现模型公平性的可能性。在通信效率方面,Bonawitz 等人[11]通过设计高效的通信协议和分组聚合策略,显著减少了客户端与中央服务器之间的数据传输量。此外,Caldas 等人[12]提出的参数匹配算法有效降低了通信开销。对于安全性,Blanchard 等人[13]提出了鲁棒性聚合算法,通过剔除异常参数抵御恶意客户端的攻击。

尽管现有研究在 Non-IID 数据适应性、通信效率和安全性方面取得了重要进展,但大多依赖于中心化的全局聚合,未能充分利用分布式架构的潜力。本文提出的 DEHFL 方法通过引入分层聚合策略,利用边缘服务器完成局部模型整合,不仅提升了 Non-IID 数据环境下的模型性能,还增强了系统在恶意攻击场景下的鲁棒性,是对现有研究的重要补充。

1.2 移动边缘计算

移动边缘计算(MEC) 作为一种在网络边缘执行实时数据处理的技术,近年来在 FL 领域中的应用尤为引人注目。MEC 通过将数据处理任务分布在靠近数据源的边缘节点上,有效降低了数据传输延迟,减少了通信开销,同时增强了数据隐私保护能力[14-15]。现有研究表明,MEC 与 FL 的结合在分布式学习系统中具有显著优势。Hu等人[14]讨论了MEC在5G网络中的关键作用,指出 MEC 节点能够通过边缘服务器协助客户端完成模型训练和参数更新,减少了中心服务器的通信压力,同时实现了高效的分布式数据处理。Abbas 等人[15]对 MEC 架构进行了深入分析,阐明了其在联邦学习任务中的支持能力,尤其是在资源分配和边缘节点负载均衡方面的贡献。Mach等人[16]提出了一种基于 MEC 的分布式学习优化框架,边缘节点通过初步聚合客户端模型参数,减少了直接传输至中央服务器的频率,从而降低了通信延迟。Mao 等人[17]进一步探讨了 MEC 如何通过优化通信策略提升系统的隐私保护能力,同时改进了FL系统的整体通信效率。然而,这些研究大多聚焦于通信开销的优化,缺乏对 Non-IID 数据环境中模型性能的系统性提升,也未充分考虑在恶意攻击场景下的模型鲁棒性问题。

本文提出的 DEHFL 方法充分利用了 MEC 在低延迟、分布式计算和隐私保护方面的优势,在边缘服务器层完成初步模型聚合,从而减少了客户端与中央服务器的直接通信。同时,DEHFL 通过在边缘服务器端设计分簇聚合策略,有效缓解了 Non-IID 数据分布带来的模型不一致性问题,并在恶意攻击环境下增强了系统的鲁棒性。

2 DEHFL 方法

为了应对传统联邦学习在数据异质性、通信效率和模型安全性等方面的局限性,本文提出了一种基于边缘层级聚合的鲁棒性联邦学习方法(DEHFL) 。DEHFL 通过引入分层聚合策略,利用边缘服务器的计算和协同能力,在降低通信成本的同时,显著提升了 Non-IID 数据环境下的模型性能和系统鲁棒性。

DEHFL 的方法架构如图 4 所示,整体由三层结构组成:客户端层、边缘服务器层和中央服务器层。首先,在客户端层,各客户端设备独立收集本地数据并完成初步模型训练,生成的模型参数被上传至最近的边缘服务器。客户端无须共享原始数据,从而有效保护了隐私,同时减少了中心化存储的风险。

在边缘服务器层,边缘服务器从覆盖范围内的多个客户端接收模型参数,并进行初步聚合。聚合过程中,边缘服务器采用基于任务相似度的聚类算法对参数进行动态分簇,缓解了 Non-IID 数据带来的模型性能下降问题。此外,边缘服务器间还通过协同机制进一步提升模型更新的一致性,减少了单点偏差对全局模型的影响。图 4 中的“Edge 1”和“Edge J”分别表示两个边缘服务器,这些服务器通过内部通信协同完成分簇聚合,并进一步提升了模型更新的一致性,减少了单点偏差对全局模型的影响。

在中央服务器层,由Rep Edge(代表服务器) 将聚合后的参数发送至中央服务器,中央服务器整合来自所有代表服务器的模型参数,通过加权平均生成全局模型。全局模型随后通过层级结构逐步下发至各客户端,完成一次联邦学习的训练迭代。图 4 中的双向箭头表示中央服务器与边缘服务器的参数传输过程,而内部循环箭头则体现了每一轮模型更新的迭代机制。

DEHFL 的分层聚合策略通过以下机制实现系统优化:1) 边缘服务器的初步聚合减少了客户端与中央服务器之间的通信频率,降低了系统的通信开销。2) 动态分簇策略优化了 Non-IID 数据环境下的模型一致性。3) 多层协同聚合设计增强了系统在恶意攻击场景中的鲁棒性,显著提高了对异常参数的抵抗能力。

2.1 边缘节点的数据聚合

本文提出的联邦学习方法(DEHFL) 专注于非独立同分布(Non-IID) 数据环境下的模型鲁棒性和效率。DEHFL 框架通过分配不同权重来应对客户端数据不均,确保模型训练的稳定性和泛化能力。通常在Non-IID 环境下,数据分布不均会导致部分客户端训练效果不佳。

DEHFL 通过创新策略适应数据不均,并优化通信开销以及客户端数量在每个边缘服务器的分配。DEHFL 的边缘服务器进行初步聚合,减轻了系统负担,同时增强了抵抗恶意攻击的能力,降低了单点故障的风险。图 5 直观展示了 DEHFL 从客户端到边缘服务器的数据聚合流程。在图5中,底部的多个设备代表参与联邦学习的客户端。每个客户端独立利用本地数据完成模型训练,生成模型更新。这些更新随后通过通信链路上传至所属的边缘服务器(图中顶部节点) 。在边缘服务器中,基于动态权重αi 对接收到的客户端更新进行初步聚合,生成边缘聚合模型ωedgek 。

算法 1 详细描述了客户端向边缘服务器聚合的过程。在训练中,每个客户端独立训练模型并计算更新参数,随后发送至边缘服务器。边缘服务器对更新进行聚合并分配权重,权重计算公式如下:

αi = a ⋅ Di + b ⋅ μi (1)

式中:Di 和μi 分别为客户端的数据大小和更新大小,αi为权重。边缘服务器k 的聚合模型更新为:

式中:N为该边缘服务器所属的客户端数量。

该聚合步骤减少了网络传输的数据量,保障了数据隐私,并且仅在数据脱离本地设备后传输更新参数,从而确保了数据的安全性。

经典小说推荐

杂志订阅