1、http:/WWWos-145AutomationofElectricPowerSystems2023年5月2 5日第10 期第47 卷电力系统自动化DOI:10.7500/AEPS20220112003Vol.47No.10May25,2023基于联邦学习的含不平衡样本数据电力变压器故障诊断郭方洪1，刘师硕1，吴祥1，陈博，张文安1，葛其运（1.浙江工业大学信息工程学院，浙江省杭州市310 0 14；2.科润智能控制股份有限公司，浙江省衢州市32 410 0）摘要：基于海量样本数据的深度神经网络可以显著提升电力变压器的故障诊断效果，但实际环境中各变压器本地数据被“数据孤岛”隔离，难以进行集中
2、式深度训练。联邦学习可以实现多源数据的共同建模，但各变压器的非独立同分布不平衡数据会使算法性能严重下降。针对上述问题，提出一种基于联邦学习的含不平衡样本数据电力变压器故障诊断机制。与传统深度学习集中训练方式不同，文中采用多个参与者分布训练方式。每个参与者采用LeNet-5深度神经网络进行本地训练，中央服务器将本地模型进行聚合，同时引入改进的数据共享策略对云端共享数据进行选择性下发，以降低非独立同分布数据的不平衡性。实验结果证明，该机制实现了各变压器独立且不平衡数据的协同训练，对变压器故障类型的诊断精度可达到9 7%。关键词：电力变压器；故障诊断；LeNet-5网络；联邦学习；非独立同分布数据0
3、引言电力变压器作为电力系统的核心设备之一，掌控着电网中的能量转换与电力传输，其运行状态关系着整个电力系统的安全稳定1。随着经济的快速发展，国内对电力的需求急剧增加。工信部统计数据显示，截至2 0 2 0 年，中国电力变压器的在网投运总量约17 0 0 万台，并仍呈现上升趋势。因此，对变压器是否发生故障及发生何种故障进行准确诊断是保证电力系统正常运行、减少经济损失的重要举措。油中溶解气体分析法（DGA）是国际电工委员会和中国电力行业共同推荐的一种变压器故障典型检测方法2-3。该方法通过对油浸式变压器内部绝缘材料分解产生的甲烷、乙烷、乙烯、乙炔和氢气含量进行分析，从而实现对变压器的低温过热、中温过
4、热、高温过热、局部放电、低能放电和电弧放电等故障类型的诊断4。改良三比值法5 是在DGA基础上提出的经典变压器故障诊断方法，随着机器学习技术的迅速发展，越来越多结合改良三比值法的智能机器学习方法被应用于变压器故障诊断领域，例如反向传播（BP)神经网络6 、极限学习机(ELM)7)和支持向量机（SVM)8等。但是上述方法均为浅层学习方法，对数据的分析能力较弱，无法在实际工业环境中取得较好的诊断结果。收稿日期：2 0 2 2-0 1-12；修回日期：2 0 2 2-0 5-2 7。上网日期：2 0 2 3-0 4-10。国家自然科学基金资助项目（6 19 0 3333）近年来，以深度学习为代表的新
5、一代人工智能方法成为提高故障诊断过程中数据分析能力的有效手段9 。文献10 将深度学习方法应用于变压器故障诊断，采用集中式训练方法，取得了优于浅层机器学习方法的诊断结果。但是，此类集中式训练方法需要海量数据进行支撑，在数据隐私保护的大背景下11,收集大量电力系统数据进行集中训练变得尤为困难，当各数据持有者之间无数据共享时便形成了“数据孤岛”。联邦学习12-13 可实现参与者在满足隐私保护的前提下，进行数据分析与机器学习建模，为解决上述“数据孤岛”以及隐私保护问题提供了一种新的思路。然而，非独立同分布数据的不平衡性会严重降低联邦学习的算法性能14。针对变压器故障诊断过程中存在的“数据孤岛”和数据
6、不平衡问题，本文提出了一种基于联邦学习的含不平衡样本数据电力变压器故障诊断机制。采用联邦学习架构打破“数据孤岛”壁垒，实现无数据交互的变压器故障协同诊断，并通过LeNet-5卷积神经网络提取变压器油中溶解气体数据的深层特征。同时，引入改进的数据共享策略，根据各变压器所拥有的数据分布将小部分云端共享数据选择性下发，提高了在不平衡样本下的变压器故障诊断精度1模型选择与数据预处理1.1LeNet-5网络模型LeNet-515是一种典型的卷积神经网络，其结构见附录A图A1。该网络由卷积层、池化层和全连1462023,47(10)研制与开发接层组成。第1层和第3层作为卷积层，均采用55的卷积核对输特征进
7、行提取。第2 层和第4层为池化层，采用2 2 的窗口对卷积后的图像进行池化压缩。第5层使用55的卷积核对上述4层的输出结果进行运算，得到12 0 个11的神经元。第6层为全连接层，共8 4个节点，对应7 12 个比特图。第7 层通过分类器完成对图片的类别输出值得说明的是，复杂的神经网络对图片特征提取能力更强。然而，当图片特征较少时，穴余的网络结构又极易导致特征丢失。相较于AlexNetl16)VGG17和ResNet-18l18等其他典型卷积神经网络，LeNet-5网络结构简单、训练参数较少，在处理尺寸较小且像素较低的灰度图像时有着更优越的效果。因此，本文采用LeNet-5网络作为本地训练网络
8、。1.2特征提取及数据预处理目前，大部分基于DGA的变压器故障诊断方法是对一维数据进行分析，然而在处理此类数据时，很难应用深度卷积神经网络模型。文献19 将时间序列数据转换为图像，充分利用机器视觉的优势，提高了数据的分类精度。受上述方法启发，本文首先对共享数据和本地数据进行如下标准化处理，以消除不同量纲等因素对训练效果的影响9HPH(1)9ALLPCH,PCH.（2)9cPC.HPC.H(3)9cPC.H.PCH,(4)9c.HPCH(5)式中：9 ALL.为每组数据中5种气体的总含量；9 c为每组数据中除氢气外其余4种烃类气体的总含量；PH,PcHPc,H。Pc.H,和C.H,分别为H2、C
9、H 4、C,H。、C,H4和C,H,的初始油中溶解气体含量；9 H、c H.、Oc.H、Pc.H 和Pc.H,分别为经标准化处理后对应的油中溶解气体含量。随后,将上述处理后的数据映射至0,1 区间。考虑到变压器油中溶解气体的特征量较少，为防止深度神经网络在训练过程中出现特征丢失问题，对数据进行双向平铺加强，将原始数据特征扩充为28X28的矩阵特征，并进一步将其转换为相应的灰度图像作为本地模型的最终输人。2不平衡数据下的变压器分布式故障诊断为解决变压器“数据孤岛”问题，同时提高不平衡数据分布下的故障诊断精度，本文提出的基于联邦学习的含不平衡样本数据电力变压器故障诊断机制如图1所示。云端共享数据选
10、择性下发数据池1?数据池2?数据池N各数据池间无数据交流本地数据1+本地数据2+本地数据N+共享数据1共享数据2共享数据N数据预处理本地模型参数上传本地模型训练本地模型训练中央模型聚合中央聚合参数下发中央聚合参数下发图1基于联邦学习的含不平衡样本数据电力变压器故障诊断机制Fig.1 Fault diagnosis mechanism of power transformerwith unbalanced sample data based on federated learning在进行神经网络训练之前，首先避选各参与者（变压器）的云端共享数据；为保护数据隐私，该部分数据可选择已公开的相关数据
11、集或者是变压器历史运行过程中所采集的已失去隐私保护价值的历史数据集。同时，为避免共享数据的不平衡性对本地数据造成影响，需要对共享数据进行预处理，使其满足独立同分布（independent and identicallydistributed，IID)原则。在模型初始化时,中央服务器对各参与者所拥有的需要进行隐私保护的本地数据进行分析，根据本地数据的分布差异性，控制分发至每个参与者的共享数据比例，各参与者结合共享数据进行本地数据更新。然后，对更新后的混合数据进行归一化处理，并通过数据平铺将一维特征数组映射为二维特征矩阵，进一步将其转换为灰度图像后送至本地LeNet-5网络进行特征提取与分类。最后
12、，通过中央服务器进行本地模型参数的聚合与下发，经多次选代后得到最终模型2.1联邦学习联邦学习结构如图2 所示。在每一轮迭代中，独立参与者分别进行本地模型训练，并将训练出的模型参数上传至中央服务器，中央服务器完成参数聚合与更新，并将更新后的参数下发至各参与者开始新一轮的迭代，直至训练收敛。联邦平均算法（FedAvg）2 0 1是联邦学习最常用的模型聚合算法，该算法可通过一定次数的全局迭代实现局部模型的协同训练。对于每一次全局迭http:/WW-147郭方洪，等基于联邦学习的含不平衡样本数据电力变压器故障诊断中央服务器用户本地训练Xy1X1Xy1Y1X2y2X2y2X2y2用户参数上传全局模型下发
13、客户端1客户端2客户端N图2联邦学习结构Fig.2Structure of federated learning代，假设参与者个数为N,所拥有的样本总数为D，参与者k的样本数量为Dk，则待优化的目标函数为min f(w),其中,）=2 5（）def(6)fi(o)=l(uj,Uj;)(7)式中:f()为模型参数对第j个样本数据(uj,u)的损失预测。对于参与者k而言,定义F（)为：1F（(0)(8)DkjEpk式中：p为参与者k的数据分布。则联邦学习模型的总损失函数可表示为：NF（0）一）F(9)0当参与者k的梯度为gkVF(),学习率为R，经迭代t次后更新参数为：R2N0I+1=W,-Rgk
14、(10)则参与者k的本地模型参数更新方式为：Wi+1.k=0,-Rgk(11)式中：W+1.为参与者k第t十1次送代后本地模型参数；，为W的平均值。2.2基于联邦学习的变压器故障诊断在“数据孤岛”的隔离下，传统的变压器故障诊断方法无法获取多方数据实现集中式训练，而基于联邦学习的变压器故障诊断机制克服了收集数据统一训练的局限性。该机制把模型参数分发到所有的数据拥有者（即各参与者)手中，仅基于本地数据进行学习，然后对所有本地学习的结果进行整合，即可得到最终模型在基于联邦学习的变压器故障诊断机制中，每个独立变压器站点相当于一个参与者，各参与者对数据进行隔离，以满足用户隐私保护和数据安全的需求。整个联
15、邦学习过程由本地模型训练和中央联邦聚合两部分组成。1)本地模型训练：多方变压器故障诊断参与者首先获取相同的初始化模型，利用LeNet-5网络提取本地数据图像特征完成本地训练。由于各参与者所拥有的数据不同，最终训练出的模型参数也不同。2)中央联邦聚合：在每一次中央联邦聚合过程中，中央服务器会获取本地模型训练出的模型参数，并利用联邦平均算法对本地参数进行聚合与更新。在本地模型完成一定训练次数后，会将本地模型参数上传至中央服务器。在完成一次中央联邦聚合后，更新后的模型参数会被下发至各参与者进行新一轮的本地模型训练。上述过程经多次循环迭代可获得最优全局模型，使得对每一位联邦参与者的本地数据都有较好的诊
16、断结果。具体地，当有N个变压器站点进行基于联邦学习的故障诊断时，可由式（6)确定各参与者待优化目标，根据式（8)和式（9)求得模型的总损失函数f（),确定参与者k的梯度VF()后可由式（10)和式(11)得到经t次训练后的本地更新模型l.k，此时全局模型参数更新方式为：1,=.k(12)Nk=1在进行t次迭代时，参与者将更新本地模型参数为+1.=，然后继续执行上述操作，直至模型完成训练。2.3改进数据共享策略实际中，各变压器独立运行时所产生的数据是非独立同分布（Non-IID)数据，这严重影响联邦学习效率和精度。针对不同变压器和6 运行中所产生的特征气体数据和标签特征入，考虑以下非同分布场景。1)特征数据分布不平衡：数据分布的条件概率P()相同，但是特征数据概率P()不同,即Pa()P,(),Pa(alp)=P,(alp)。2)标签数据分布不平衡：数据分布的条件概率P(入l)相同，但是标签数据概率P(入)不同，即Pa()P,(a),Pa(al)=P(alp)。联邦学习可能受上述场景中非同分布情况的影响，数据的不均匀分布会产生相应的权重偏差（W D）。在使用随机梯度下降(SGD)的Fed