1、2023 年 5 月 Journal on Communications May 2023 第 44 卷第 5 期 通 信 学 报 Vol.44 No.5基于激励机制的联邦学习优化算法 田有亮1,2,3，吴柿红1,2，李沓1,2，王林冬1,2，周骅4（1.贵州大学公共大数据国家重点实验室，贵州 贵阳 550025；2.贵州大学计算机科学与技术学院，贵州 贵阳 550025；3.贵州大学密码学与数据安全研究所，贵州 贵阳 550025；4.贵州大学大数据与信息工程学院，贵州 贵阳 550025）摘 要：针对联邦学习的训练过程迭代次数多、训练时间长、效率低等问题，提出一种基于激励机制的联邦学习优化
2、算法。首先，设计与时间和模型损失相关的信誉值，基于该信誉值，设计激励机制激励拥有高质量数据的客户端加入训练。其次，基于拍卖理论设计拍卖机制，客户端通过向雾节点拍卖本地训练任务，委托高性能雾节点训练本地数据从而提升本地训练效率，解决客户端间的性能不均衡问题。最后，设计全局梯度聚合策略，增加高精度局部梯度在全局梯度中的权重，剔除恶意客户端，从而减少模型训练次数。关键词：联邦学习；激励机制；信誉值；拍卖策略；聚合策略 中图分类号：TN92 文献标志码：A DOI:10.11959/j.issn.1000436x.2023095 Federated learning optimization algo
3、rithm based on incentive mechanism TIAN Youliang1,2,3,WU Shihong1,2,LI Ta1,2,WANG Lindong1,2,ZHOU Hua4 1.State Key Laboratory of Public Big Data,Guizhou University,Guiyang 550025,China 2.College of Computer Science and Technology,Guizhou University,Guiyang 550025,China 3.Institute of Cryptography&Da
4、ta Security,Guizhou University,Guiyang 550025,China 4.College of Big Data and Information Engineering,Guizhou University,Guiyang 550025,China Abstract:Federated learning optimization algorithm based on incentive mechanism was proposed to address the issues of multiple iterations,long training time a
5、nd low efficiency in the training process of federated learning.Firstly,the repu-tation value related to time and model loss was designed.Based on the reputation value,an incentive mechanism was de-signed to encourage clients with high-quality data to join the training.Secondly,the auction mechanism
6、 was designed based on the auction theory.By auctioning local training tasks to the fog node,the client entrusted the high-performance fog node to train local data,so as to improve the efficiency of local training and solve the problem of performance im-balance between clients.Finally,the global gra
7、dient aggregation strategy was designed to increase the weight of high-precision local gradient in the global gradient and eliminate malicious clients,so as to reduce the number of model training.Keywords:federated learning,incentive mechanism,reputation value,auction strategy,aggregation strategy 收
8、稿日期：20230227；修回日期：20230406 基金项目：国家重点研发计划基金资助项目（No.2021YFB3101100）；国家自然科学基金资助项目（No.U1836205,No.62272123）；贵州省高层次创新型人才基金资助项目（黔科合平台人才20206008）；贵阳市科技计划基金资助项目（筑科合20211-5,筑科合20222-4）；贵州省科技计划基金资助项目（黔科合平台人才20205017,黔科合支撑2022一般 065）；贵州大学人才引进基金资助项目（贵大人基合字2015-53）Foundation Items:The Key Research and Developmen
9、t Program of China(No.2021YFB3101100),The National Natural ScienceFoundation of China(No.U1836205,No.62272123),Project of High-Level Innovative Talents of Guizhou Province(No.20206008),Science and Technology Program of Guiyang(No.20211-5,No.20222-4),Science and Technology Program of Guizhou Province
10、(No.20205017,No.2022065),Guizhou University Talent Introduction Research Fund(No.GDRJHZ2015-53)170 通 信 学 报 第 44 卷 0 引言 机器学习在工业生产1、自动驾驶2-3、医疗卫生4、零售业等行业中得到了广泛应用。为了在充分利用各个企业的数据进行模型训练从而得到更精确结果的同时保护数据的隐私，联邦学习应运而生。联邦学习作为解决数据孤岛问题的有效方法，不需要把数据进行汇集就可以把存储在不同设备上的数据充分利用起来进行模型训练5。联邦学习虽然具有很多优势，但是也不可避免地存在一些问题，例如，联邦
11、学习训练轮次多、训练时间长，为提高训练效率，目前存在一些方案利用客户端的自利性设计激励机制，激励拥有高质量数据的客户端加入训练6-7，从而提升模型训练效率。其次，传统的联邦学习在客户端执行本地训练，但客户端之间性能不均衡，会导致客户端完成本地训练的时间差别大、到达服务器的局部模型的时间间隔大，从而造成设备之间相互等待，增加训练时间8，这被称为“流浪者”问题。为解决“流浪者”问题，有方案提出部分模型聚合方案，在该方案中，服务器在每轮训练中仅等待适当数量的设备模型，不需要等待所有局部模型8。最后，人们广泛接受的联邦平均（FedAvg）算法9没有考虑到各个客户端在训练中的贡献，从而导致训练需要进行多
12、轮才能达到预期精度，这在一定程度上增加了训练时间，降低了模型训练效率。在实际应用中，任务发布者对模型训练的时间不是无限包容的，对于急需获得训练结果的任务发布者来说，超出时间训练得到的结果是没有意义的。因此优化联邦学习训练模型、提升训练效率是有必要的。本文通过设计激励机制、拍卖方案和聚合策略提升模型训练效率。考虑到模型精度的动态性，基于合约理论设计信誉值计算机制，根据客户端每轮训练的具体贡献给予客户端奖励；同时，基于雾节点低时延高存储10的特点，设计拍卖方案，激励客户端把训练任务委托给高性能雾节点，从而提升本地训练效率；最后，增加高精度局部梯度在全局梯度中的占比，从而实现模型的优化。本文主要贡献
13、如下。1)设计与时间和模型损失相关的信誉值计算机制。基于该信誉值建立奖励机制，激励拥有高质量数据且高性能的客户端加入训练，只有使用高质量数据高效训练客户端才能获得高奖励。2)为解决具有高质量数据的客户端性能低、时延长的问题，基于拍卖理论设计拍卖策略，客户端通过向高性能雾节点拍卖本地训练任务，委托雾节点训练本地数据从而提升本地训练效率，解决客户端间的性能不均衡问题。3)设计全局梯度聚合策略，增加高精度局部梯度在全局梯度中的权重，剔除恶意客户端，从而减少模型训练次数。1 相关工作 2016 年，谷歌9给出了联邦学习的定义，即联邦学习是机器学习的一种分布式训练范式，其不需要把数据进行汇集，在每一轮训
14、练中仅传递模型之间的参数就可实现模型训练。联邦学习的这一优势使它在医疗保健3、工业制造1、自动驾驶11等领域中得到广泛应用，用于解决数据分散且私密的问题。虽然它有很多优点，但是也不可避免地存在一些问题12-13。首先，传统的联邦学习假设客户端自愿奉献自己的数据加入训练14，然而，由于客户端的自利性，拥有高质量数据的客户端不愿意参与模型训练，这将会影响训练的精度与轮次，降低模型训练效率。为解决这个问题，Kang 等15提出使用主观逻辑计算各个客户端执行任务后的信誉值，基于合约理论设计激励机制，通过奖励贡献多的客户端获得更多的奖励，进而激励拥有高质量数据的客户端加入训练，由于合约理论的激励机制设计
15、的合约是提前规定的，客户端只能选择是否接受合约，缺乏一定的灵活性，同时，基于主观逻辑模型设计信誉值存在主观性判断因素，没有量化的评价标准。Zeng 等16针对 Kang 等15存在的提前规定的合约不灵活性问题，提出多维采购拍卖方案，使客户端有更多机会提交任何资源组合和预期付款。Deng 等17针对Kang 等15使用主观逻辑模型设计信誉值存在的问题，使用模型质量参数来计算信誉值，从而判断客户端的可靠性，提高信誉值在系统中的价值。不同于 Zeng 等16使用多维拍卖实现对客户端的选择，即选择拥有高质量数据的客户端加入训练，不同于Deng 等17仅使用模型质量参数衡量信誉值，本文使用拍卖方式选择高
16、性能雾节点为客户端进行本地训练，在进行信誉值计算时不仅考虑到当前轮次的数据质量，也兼顾历史训练的数据质量以及客户端执行相似任务获得的信誉值对当前任务信誉值的影响。第 5 期 田有亮等：基于激励机制的联邦学习优化算法 171 其次，客户端之间的性能不均衡使本地训练时间差大，从而导致局部梯度到达服务器的时间间隔大，客户端间相互等待，从而降低模型训练速度，这是并行计算中普遍存在的问题18-19。为缩短客户端间的等待时间，Niu 等20提出异步解决方案，在收到单个客户端的局部梯度后，立即更新全局梯度，并把该全局梯度传递给各个客户端，进而解决客户端性能不均衡的问题，然而当客户端间的数据分布不一致时，训练的结果将不正确。为解决 Liu等8中的问题，Nishio 等21提出联邦学习的客户端选择（FedCS）协议过滤掉低性能客户端，但是该方案会与高性能客户端训练结果过度拟合。此外，Liu 等8提出聚合陈旧与常规模型以加快收敛速度，但是要求客户端在每轮训练的同时上传模型参数和梯度参数，这意味着传输的数据量是 FedAvg9的 2 倍，因此数据传输时间将会增加。为了不增加数据传输时间，同时解决客户端间性能