1、收稿日期:2022-10-28摇 摇 摇 摇 摇 摇 修回日期:2023-02-28基金项目:四川省科技计划项目(2021YFS0391);四川省重大科技专项(22DZX0046);国家自然科学基金重点项目(61133016)作者简介:张海超(1985-),男,研究方向为信息化系统建设应用;通讯作者:赖金山(1998-),男,博士,CCF 会员(I4152G),研究方向为网络信息安全。边缘计算下的轻量级联邦学习隐私保护方案张海超1,赖金山2,刘摇 东3,张凤荔2(1.四川公安厅科技信息化总队,四川 成都 610015;2.电子科技大学 信息与软件工程学院,四川 成都 610054;3.电子科技
2、大学 计算机科学与工程学院,四川 成都 611731)摘摇 要:随着物联网和大数据技术的高速发展,以传统云计算模式为代表的集中式学习效率低下,且易受到单点攻击、共谋攻击、中间人攻击等一系列攻击手段,造成数据安全的隐患。边缘计算模式使得分布式联邦学习成为了可能,然而,联邦学习虽然能够保证数据在本地的安全和隐私,但是也面临众多安全威胁,如梯度泄露攻击,此外,效率问题也是联邦学习的痛点所在。为了保障边缘计算场景下的模型训练安全,提出了一种边缘计算下的轻量级联邦学习隐私保护方案(Lightweight Federated Learning Privacy Protection Scheme Under
3、 Edge Computing,LFLPP)。首先,提出一种云-边-端分层的联邦学习框架;其次,对不同层进行隐私保护;最后,提出一种周期性更新策略,极大地提高了收敛速度。使用乳腺癌肿瘤数据集和 CIFAR10 数据集在 LR 模型和 Resnet18 残差模型上进行训练和测试,同时使用 CIFAR10 数据集与 FedAvg 和PPFLEC(Privacy-Preserving Federated Learning for Internet of Medical Things under Edge Computing)两种方案进行对比实验,得出准确率和训练效率的差距,并进行准确率、效率以及安全
4、性等方面的分析,该方案在 CIFAR-10 数据集上能达到84.63%的准确率。关键词:联邦学习;边缘计算;同态加密;差分隐私;隐私保护中图分类号:TP301摇 摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2023)09-0161-07doi:10.3969/j.issn.1673-629X.2023.09.024Lightweight Federated Learning Privacy ProtectionScheme under Edge ComputingZHANG Hai-chao1,LAI Jin-shan2,LIU Dong3,ZH
5、ANG Feng-li2(1.Science and Technology Informatization Corps of Sichuan Public Security Department,Chengdu 610015,China;2.School of Information and Software Engineering,University of Electronic Science and Technology of China,Chengdu 610054,China;3.School of Computer Science and Engineering,Universit
6、y of Electronic Science and Technology of China,Chengdu 611731,China)Abstract:With the rapid development of the Internet of Things and big data technology,centralized learning represented by the traditionalcloud computing model is inefficient and vulnerable to a series of attacks such as single poin
7、t attack,collusion attack,man in the middleattack,resulting in hidden dangers of data security.The edge computing model makes distributed federated learning possible.However,although federated learning can ensure the security and privacy of data locally,it also faces many security threats,such as gr
8、adientdisclosure attacks.In addition,the efficiency is also the pain point of federated learning.In order to ensure the security of model trainingin the edge computing scenario,a lightweight federated learning privacy protection scheme under edge computing(LFLPP)is proposed.Firstly,a cloud-edge-end
9、layered federated learning framework is proposed.Secondly,privacy protection for different layers.Finally,a periodic updating strategy is proposed,which greatly improves the convergence speed.The breast cancer tumor data set and CIFAR10data set were used for training and testing on LR model and Resn
10、et18 residual model.At the same time,CIFAR10 data set was used toconduct comparative experiments with FedAvg and PPFLEC(Privacy Preserving Federated Learning for Internet of Medical Things underEdge Computing),to find out the gap between accuracy and training efficiency,and to conduct accuracy analy
11、sis,efficiency analysis andsecurity analysis,This scheme can achieve 84.63%accuracy on CIFAR-10 dataset.Key words:federated learning;edge computing;homomorphic encryption;differential privacy;privacy protection第 33 卷摇 第 9 期2023 年 9 月摇 摇 摇 摇 摇 摇 摇 摇 摇 摇计 算 机 技 术 与 发 展COMPUTER TECHNOLOGY AND DEVELOPME
12、NT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇Vol.33摇 No.9Sep.摇 20230摇 引摇 言物联网时代,智能终端产生的大量数据促进了机器学习的高速发展。由于连接设备数和产生的数据量都呈现指数级增长,传统的云计算模式已经不能跟上物联网时代的脚步,边缘计算模式1的出现使得分布式机器学习成为可能。同时,谷歌提出的联邦学习2不仅完美地契合边缘计算模式,还能将数据保留在终端设备上3,降低数据泄露的风险,很好地解决了数据孤岛问题4。此外,终端设备算力和内存的提升也使得模型训练成为了可能。针对不同的领域,终端设备使用不同的数据集训练一个好的神经网络模型,能够高效地解决各个领域的决策和分类等问题5。但
13、是,随着梯度泄露攻击6、中间人攻击7和共谋攻击8等攻击手段的兴起以及参与训练的终端设备的不可信,使得攻击者可以通过模型梯度推演出本地数据集,导致各个终端设备不愿将本地训练结果上传给边缘服务器。同时边缘服务器到云端的数据传输通过核心网,传输过程中可能遭遇不同的攻击。此外,经典的FedAvg9模型聚合方法存在通信时延高的问题。为了解决通信时延问题,王等人10提出将模型训练任务卸载到边缘服务器上,将训练数据集从终端上传到边缘服务器,在边缘服务器上进行模型训练,减少终端设备和边缘服务器之间的通信次数,减少通信时间。但是数据从终端设备上传到边缘服务器的过程中容易遭到隐私泄露。为了解决隐私泄露问题,文献1
14、1提出了分层联邦学习同态加密方法,对本地数据集进行同态加密后再进行神经网络模型的训练,但是对本地大量的数据集进行同态加密需要耗费大量的时间和空间,这并不适用于边缘计算下实时性的场景。文献12提出了使用多方安全计算来保证数据安全,但是攻击者可以通过获得密钥来获得数据或梯度,同时多方安全计算不适用于分布式场景。文献13提出了差分隐私方案,对模型梯度添加噪声或者在本地对数据添加噪声。为了平衡安全和精度,文献14提出了一种自适应的差分隐私方案,通过对梯度进行自适应裁剪来提高精度,同时还可以降低吞吐量,减少时延。文献15提出利用网络不同层敏感度来进行模型压缩,解决权重参数冗余的问题,以达到模型训练效率和
15、模型复杂度之间的平衡。文献16提出使用参数稀疏化来传输与掩码相与之后不为 0 的参数,能防止模型参数泄露。以上方法虽然能够在一定程度上保护用户隐私,但是应用在边缘计算场景下的联邦学习需要耗费大量的通信成本,同时面临各种攻击手段。为此,该文提出了一种边缘计算下的轻量级联邦学习隐私保护方案(LightweightFederatedLearningPrivacyProtectionScheme Under Edge Computing,LFLPP),使用加性同态加密来保护在云服务器和边缘服务器上的模型参数。所有模型参数都被加密并存储在云服务器和边缘服务器上,该方案有以下贡献:(1)提出了一种云-边-
16、端分层的联邦学习架构:在云-边-端分层架构中,不同的终端设备负责进行模型训练,而边缘服务器和云服务器进行模型参数聚合。(2)提出了一种基于差分隐私和同态加密的两层隐私保护方案:在终端设备训练得到模型参数后,对其进行差分扰动,再上传给边缘服务器,边缘服务器迭代训练得到模型参数后,对模型参数进行同态加密后传输到云服务器进行聚合,保证参数在传输过程中的安全。(3)提出了一种本地和边缘服务器端多次迭代更新的策略:在终端设备上设置训练轮数阈值,当更新次数达到阈值,将本地模型上传到边缘服务器,同时在边缘服务器设置另一个阈值,当训练次数达到阈值时,将模型参数上传到云服务器进行聚合更新。基于此,边缘计算下的轻量级联邦学习隐私保护方案能够高效率地进行模型训练,同时实现不同层之间的数据隐私保护。1摇 系统架构所提出的架构分为云边端三层,一共有 3 个实体,分别是:(1)终端设备:负责数据采集和预处理,从边缘服务器获取模型框架,在本地对神经网络模型进行周期性训练,并对模型参数进行微分扰动;(2)边缘服务器:从云端获取将需要训练的模型框架发送给参与训练的终端设备,对终端设备上传的模型参数进行聚合,对聚合后的模
