1、2023 年 8 月 图 学 学 报 August2023第 44 卷 第4期 JOURNAL OF GRAPHICS Vol.44No.4 收稿日期:2023-01-31;定稿日期:2023-03-16 Received:31 January,2023;Finalized:16 March,2023 基金项目:国家自然科学基金项目(51804250);中国博士后科学基金项目(2019M653874,2020M683522);陕西省科技计划项目(2021JQ-572,2020JQ-757);陕西省教育厅科研计划项目(18JK0512,17JK0503);西安市碑林区科技计划项目(GX2116)
2、Foundation items:National Natural Science Foundation of China(51804250);China Postdoctoral Science Foundation(2019M653874,2020M683522);Shaanxi Provincial Science and Technology Plan Project(2021JQ-572,2020JQ-757);Shaanxi Provincial Education Department Scientific Research Program(18JK0512,17JK0503);
3、Xian Beilin District Science and Technology Plan Project(GX2116)第一作者:郝帅(1986),男,副教授,博士。主要研究方向为电气设备故障诊断和目标检测等。E-mail: First author:HAO Shuai(1986),associate professor,Ph.D.His main research interests cover electrical equipment fault diagnosis,target detection,etc.E-mail: 通信作者:马旭(1985),女,讲师,博士。主要研究方向为
4、图像处理和目标检测等。E-mail: Corresponding author:MA Xu(1985),lecturer,Ph.D.Her main research interests cover image processing,object detection,etc.E-mail: 基于 TR-YOLOv5 的输电线路多类缺陷 目标检测方法 郝帅,赵新生,马旭,张旭,何田,侯李祥(西安科技大学电气与控制工程学院,陕西 西安 710054)摘要:针对复杂环境中输电线路多类缺陷目标的多尺度检测问题,提出一种基于 Transformer 和感受野模块的 YOLOv5 输电线路多类缺陷目标检测
5、算法,简记为 TR-YOLOv5。首先,搭建了 YOLOv5 网络,针对复杂背景造成缺陷目标的显著性低,进而影响检测精度的问题,在 Backbone 部分引入 Transformer 模块,通过利用多头注意力结构获取特征图像素点间的相关性和全局信息,增强缺陷目标的特征表达能力,从而提升模型检测精度;其次,由于待检测目标受多尺度影响,在 Neck 部分引入感受野模块提取目标不同尺度的特征,利用空洞卷积增大感受野,为后续 PANet 结构保留更细致的特征,增强 Neck 特征融合能力,提高模型对多尺度缺陷目标的检测精度;然后,为了提升预测边框回归精度,引入 CIOU 函数,进一步提高算法检测精度;
6、最后,利用某电力巡检部门近 3 年的数据对该算法进行验证。实验结果表明,相比于 7 种对比算法,本文算法具有较高检测精度的同时具有较好的实时性,其平均检测精度可达 95.6%,1280720 分辨率的巡检图像检测速度为 125 帧/秒。关键词:YOLOv5;输电线路缺陷检测;空洞卷积;Transformer;感受野模块;损失函数 中图分类号:TP 391 DOI:10.11996/JG.j.2095-302X.2023040667 文献标识码:A 文 章 编 号:2095-302X(2023)04-0667-10 Multi-class defect target detection meth
7、od for transmission lines based on TR-YOLOv5 HAO Shuai,ZHAO Xin-sheng,MA Xu,ZHANG Xu,HE Tian,HOU Li-xiang(School of Electrical and Control Engineering,Xian University of Science and Technology,Xian Shaanxi 710054,China)Abstract:To address the problem of multi-scale detection of multi-class defect ta
8、rgets in transmission lines in complex environments,a YOLOv5 transmission line multi-class defect target detection algorithm was proposed based on Transformer and perceptual field modules,abbreviated as TR-YOLOv5.First,a YOLOv5 network was built to address the problem of low saliency of defect targe
9、ts caused by complex backgrounds,which hindered accurate detection.The Transformer module was introduced in the Backbone part.By utilizing a multi-head attention structure to capture the correlations and global information between the pixels of feature maps,the feature expression capability 668 图像处理
10、与计算机视觉 2023 年 1 of the defect targets was enhanced,thereby improving the detection accuracy of the model.Secondly,since the target being detected is impacted by multiple scales,a perceptual field module was introduced in the Neck part to extract features of different scales of the target.Null convol
11、ution was also employed to increase the perceptual field,while more detailed features were reserved for the subsequent PANet structure.Furthermore,the Neck feature fusion capability was bolstered to enhance the detection accuracy of the model for multi-scale defective targets.In addition,to enhance
12、the precision of predicted border regression,the CIOU function was introduced to further boost the detection accuracy of the algorithm.Finally,the proposed algorithm was validated using the data of a power inspection department for the past three years.The experimental results demonstrated that the
13、proposed algorithm could surpass seven comparative algorithms in terms of detection accuracy and real-time performance,with an average detection accuracy of 95.6%and the inspection image detection speed for 1280720 resolution reaching 125 frames/second.Keywords:YOLOv5;transmission line defect detect
14、ion;dilation convolution;Transformer;receptive field block;loss function 架空输电线路由于长期运行在复杂自然环境中,受雨水、冰霜、大风等影响,易导致线路出现故障1。为了掌握输电线路的运行状态、保障输电线路安全稳定运行,需要对架空线路进行定期巡检2。无人机电力巡检具有受地域限制少、环境适应性强、巡检效率高等优势,能够极大降低运维人员的工作强度3。然而,巡检产生的海量图像数据仍需工作人员利用肉眼进行识别,其不仅效率低下,还给相关工作人员带来巨大工作量4。因此,面向复杂巡检环境中的海量巡检数据,如何准确、快速进行缺陷目标检测具有
15、重要理论研究意义和实际应用价值。深度学习在目标检测5、图像超分辨率6等领域取得了一系列成果,其中基于深度学习的目标检测算法由于具有检测精度高、鲁棒性强等优点,是目前计算机视觉的研究热点。基于深度学习的目标检测算法主要分为两阶段和一阶段7。两阶段算法首先利用选择搜索策略生成候选窗口,然后提取窗口特征,最后进行分类和边框预测,代表算法为Fast RCNN8,Faster RCNN9。戚银城等10提出一种双注意力机制的 Faster RCNN 的航拍输电线路螺栓缺陷检测算法,对不同尺度的特征和不同位置的特征计算相应的注意力图,然后进行局部和全局特征融合,增大螺栓和背景的特征差异程度,并通过实验证明了
16、该算法的有效性和可靠性。顾超越等11提出一种改进的 Faster RCNN 算法,以ResNet101 作为前置特征提取网络,建立特征金字塔融合多尺度特征增强了小目标的特征表达,通过架空线路销钉缺陷检测试验验证了该算法相比传统算法具有较好的效果。然而,二阶段算法首先需要生成大量候选窗口,导致计算复杂、检测速度慢,难以满足海量巡检数据的检测需求。相比于二阶段算法,一阶段算法将检测作为回归问题处理,无需生成目标候选区域,具有体积小速度快的优势,代表性算法有单次多盒检测(single shot multibox detector,SSD)12,YOLOv313和YOLOv414。翁智等15在 YOL
17、Ov3 算法基础上引入 Res2Net 残差模块增强特征提取能力,并借鉴迁移学习加强特征融合。该方法实现了巡检图像多种关键部件的快速识别。郝帅等16提出一种基于注意力机制和跨尺度特征融合的 YOLOv5 输电线路故障检测算法。该方法通过设计的多尺度特征融合模块增强目标特征的表达能力,通过 CBAM 模块提高复杂背景中目标的显著度,提高了多尺度故障目标的检测精度。然而,输电线路各类设备缺陷具有外观多样、形状多变、尺度差异大的特点,同时无人机成像时因光照、遮挡等因素的干扰,给复杂环境下输电线路的多尺度缺陷目标的精确实时检测带来了挑战。针对以上问题,本文提出一种基于Transformer17与感受野
18、模块(receptive field block,RFB)18的YOLOv5 输电线路多类缺陷目标检测算法,简记为 TR-YOLOv5。本文主要创新和贡献如下:(1)针对复杂背景环境下缺陷目标显著性低进而影响检测精度的问题,首先构建了 YOLOv5 目标检测网络,然后在 YOLOv5 算法 Backbone 部分引入 Transformer 模块,利用其多头注意力机制获取特征图像素间的相关性和全局信息,增强故障目标的特征表达能力,从而提高模型检测精度。(2)由于待检测缺陷目标受多尺度影响,在Neck 部分首层引入 RFB 提取目标的不同尺度信息,利用空洞卷积增大网络感受野,为后续 PANet
19、第 4 期 郝帅,等:基于 TR-YOLOv5 的输电线路多类缺陷目标检测方法 669 保留更多的特征信息,增强 Neck 特征融合能力,提高模型对多尺度目标的分类和检测精度。(3)原始 YOLOv5 算法 采 用 广义 交并 比(generalized intersection over union,GIOU)作为边框损失函数,其无法有效度量预测框与真实框存在包含关系时两框的相对位置关系。为此,本文引入完整交并比(complete-IOU,CIOU)函数19,以提升算法对缺陷目标的预测边框回归精度,从而提供模型检测准确性。1 YOLOv5 检测算法原理 YOLOv5 检 测 算 法 框 架
20、主 要 由 Input,Backbone,Neck 和 Prediction 共 4 个部分组成,如图 1 所示。图 1 YOLOv5 检测框架 Fig.1 The detection framework of YOLOv5 1.1 Input Input 部分完成基本图像处理任务,主要包含Mosaic 图像处理、图像尺寸缩放和锚定框自适应处理 3 个部分。Mosaic 增强使用 4 张图片以随机裁剪和排布的策略进行拼接,丰富了目标的位置分布并且在一定程度上放大了小尺度目标,提高了检测模型的训练效率。1.2 Backbone Backbone 部分使用 CSPDarknet53 作为主干网络,
21、其主要包含 1 个卷积模块、4 个 CBS 模块和 4 个 C3 模块用于提取输入图像的特征信息,为模型后续处理提供基础。1.3 Neck Neck部分采用 SPPF模块和PANet结构。SPPF模块首先使用 4 种不同大小的池化核以串行方式对上层输入特征图进行最大池化,然后进行张量拼接获取多尺度特征信息。PANet 结构在特征金字塔网络(feature pyramid network,FPN)基础上通过建立一条自下而上的通路,有利于将不同尺度特征层的底层细节信息传递到高层特征图,经过融合后的特征图同时具备了高层语义信息和底层细节信息。因此,Neck 部分能够获得更多的特征信息,有利于提高模型
22、检测精度。1.4 Prediction Prediction 部分用来预测目标,其从 3 个不同尺 度 的 特 征 层 输 出 预 测 结 果,输 出 格 式 为NN3(4+1+C),其中 NN 为网格数,每个网格预测 3 个预测框,每个预测框包含 C 个条件类别概率、1 个类别置信度和目标的 4 个坐标信息。检测网络的后处理阶段使用非极大值抑制筛选掉冗余 670 图像处理与计算机视觉 2023 年 的预测框,得到模型最终预测结果。2 TR-YOLOv5 输电线路多类缺陷检测算法 本文提出的TR-YOLOv5输电线路多类缺陷目标检测算法如图 2 所示,为了描述方便将网络中的模块用数字进行编号。
23、Backbone 部分使用 CSPDarknet53 的结构,其中 0,1,3,5,7 模块采用步长为 2 的卷积操作将输入图像尺寸缩小至原始输入图像的 1/2,1/4,1/8,1/16 和 1/32。2,4,6 模块采用卷积核尺寸为 33,步长为 1 的卷积操作对特征图进行计算,特征图尺寸不发生变化。模块 8 引入 Transformer 模块构造了 C3Trans 模块,增强复杂背景下缺陷目标的特征表达能力及对特征图进行全局信息的提取。因此,Backbone 部分首先通过卷积模块获取具有平移不变性的特征图,再利用 Transformer结构获取特征图像素间的全局联系,并结合两者之优势。Ne
24、ck 部分为 RFB 模块和 PANet 结构,分别由模块 9 和模块 1023 组成。RFB 模块使用多个分支和多种尺寸卷积核的卷积操作提取缺陷目标的不同尺度特征信息,利用空洞卷积扩大网络感受野。为后续 PANet 特征融合保留更多的尺度信息,提升 Neck 网特征融合效果,以提高模型对多尺度缺陷目标的分类和检测准确率。模块 11 和 15 使用双线性插值方法实现上采样操作,获取更大尺寸的特征图。模块 1723 对特征图进行下采样和融合操作。图 2 TR-YOLOv5 检测算法框图 Fig.2 Block diagram of the TR-YOLOv5 detection algorith
25、m Prediction 部分利用 Neck 部分融合的特征信息,从检测网络的 17,20,23 共 3 个不同尺度的特征层预测输电线路巡检图像中存在的多尺度缺陷目标的物体类别和位置信息。算法损失函数包含置信度损失、目标类别概率和边界框回归损失 3 个部分,其中使用 BCE loss计算网格检测物体的置信度和类别概率损失,利用CIOU 计算预测框和真实框的边框损失。第 4 期 郝帅,等:基于 TR-YOLOv5 的输电线路多类缺陷目标检测方法 671 2.1 C3Trans 特征提取模块 为了提高 Backbone 的特征提取能力,在Backbone 部分 C3 模块中引入 Transform
26、er 构造了C3Trans 模块,C3Trans 模块和 Transformer 模块结构如图 3 所示。图 3 C3Trans 模块和 Transformer 模块结构 Fig.3 C3Trans module and Transformer module structure 每个 Transformer 模块由多个子层构成,主要功能由多头注意力和由全连接层构成的多层感知机实现,子层之间使用残差结构连接,注意力计算流程如图 4 所示。图 4 注意力机制计算流程 Fig.4 Attention mechanism calculation process 模块通过输入序列 X 生成对应的 Que
27、ry 向量(Q),Key 向量(K)和 Value 向量(V),即 QKVQXWKXWVXW(1)其中,X为序列向量,X与可学习的权重矩阵WQ,WK,WV生成对应的Q,K,V,通过计算得到注意力特征图。注意力计算流程为:给出一个Q,求解Q与所有K的相关性,然后根据Q与每一个K的相关性去运算最合适的V。计算过程是将Q和K做点乘操作,得到一个相似度得分,因为Q和K均为向量序列,当Q和K相似度越大,其乘积也就会越大,将得到的乘积除以K矩阵维度 dk后进行 Softmax 处理得到权重矩阵为 ToftmaxdSAkQKW(2)将WA与V相乘,就实现对V的一次加权运算,得到的加权后特征图矩阵为 TAtt
28、ention()SoftmaxdkQKQ,K,VV (3)与原始的卷积相比,Transformer结构的多头注意力能够计算整个特征图的所有特征之间的相关性,以获取特征图全局信息和充足的上下文信息,从而能使其比卷积对难以辨认的物体有更好的特征提取能力。由于Transformer模块使用全连接层的感知机获取全局信息,可导致其计算量与存储远超卷积模块。为了防止Transformer模块占用过多计算资源,本文在Backbone网络最后一个C3模块中引入Transformer模块构造了C3Trans模块,这既能保证网络计算量不增加很多,又能获得Transformer结构的优点和更高的检测精度。2.2 感
29、受野模块RFB 为了解决不同尺度特征信息无法有效融合的问题,本文在Neck部分首端引入RFB模块,利用多种尺寸卷积核的卷积和不同扩张率的空洞卷积,提取目标的不同尺度特征信息和增大网络感受野。为后续PANet结构保留更多不同尺度的特征信息,增强Neck网络的特征融合效果,提高模型对多尺度目标的分类和检测准确率。空洞扩张率是空洞卷积中非常重要的一个参数,可以控制网络感受野范围。空洞卷积感受野k与扩张率关系为(1)(1)kkkr (4)其中,k为空洞卷积感受野大小;k为原始卷积核大小;r为空洞扩张率。由式(4)可知,当原始卷积核大小为33,r分别取1,2,3时,空洞卷积感受野分别为33,55,77。
30、因此相对于原始卷积核大小,空洞卷积在不增加额外参数的情况下扩大了网络感受野。引入的RFB结构如图5所示。当上层特征图进入RFB模块,首先,通过11卷积将通道数量减少,降低模块计算量;然后,分别使用11,33和55的卷积提取更精细的不同尺度的特征信息;接着,使用扩张率为1,3,5的空洞卷积增大网络感受野;最后,使用Concat拼接通道后利用11卷积调整通道后输出,并与11卷积后的特征图通过残差结构进行融合,融合后的特征图包含了不同尺度和感受野的特征信息。经过RFB模块处理后的特征图为PANet结构保留更细 672 图像处理与计算机视觉 2023 年 致的特征信息,增强了Neck的特征表达能力,提
31、高了算法对不同尺度缺陷目标的分类和检测精度。图 5 RFB 网络结构 Fig.5 RFB network structure 2.3 改进边框回归函数 原始YOLOv5使用GIOU作为边框损失函数,虽然解决了交并比(intersection over union,IOU)在预测框与真实框不相交时无法预测2框距离的问题,但当2框存在包含关系时,GIOU无法衡量其相对位置关系。因此,本文采用CIOU作为边框损失函数,并从重叠面积、中心点距离、长宽比和惩罚因子4个几何维度度量预测框和真实框的位置关系,以更好反映2框的重合程度,提高预测框回归精度,即 22211CIOU_lossdIOUvd(5)其中
32、,d1为2框的最小外接矩形的对角线距离;d2为2框的中心点距离;惩罚项v中,a为正权衡系数,v为长宽比参数,即 (1)vIOUv(6)224arctanarctangtpgtpvwwhh(7)其中,wgt,hgt为目标真实框的宽和高;wp,hp为预测框的宽和高。3 实验及结果分析 本次实验运行环境软硬件配置:操作系统为UBUNTU 18.04 LTS,深度学习框架为PyTorch 1.7.0,GPU为NVIDIA GTX 1660 Ti,CPU为Intel i5-9400F2.9 GHz,深 度 学 习 加 速 环 境 为CUDA10.1+CUDNN7.6.5,OpenCV库版本为3.4.5,
33、开发环境为Pycharm。3.1 实验数据采集和预处理 利用某电力巡检部门近3年来无人机巡检500 kV高压架空输电线路采集的视频和图像数据,选取典型缺陷如垫片缺失、防鸟刺损坏、绝缘子脱落、螺母松动、放电间隙设计问题等12类设备缺陷作为检测目标,部分缺陷目标如图6所示。从巡检数据中截取图像样本3 500张作为数据集,使用LabelImg工具对图像中的缺陷目标进行标注,缺陷名称定义和数量见表1。(a)(b)(c)(d)图 6 缺陷目标(a)销钉脱落;(b)螺母松动;(c)螺母脱落;(d)放电间隙过大)Fig.6 Defect targets(a)Pin off;(b)Loose nuts;(c)
34、Nuts off;(d)Excessive discharge gap)表 1 缺陷名称和数量 Table 1 Defect name and quantity 缺陷类型 自定义名称 数量(张)销钉脱落 XT 342 螺母松动 LSS 316 螺母脱落 LST 347 放电间隙过大 FDG 310 绝缘子脱落 JYT 212 鸟巢 NC 235 放电间隙设计问题 FDSJ 262 防鸟刺损坏 NS 231 放电间隙短接 FDG 310 垫片缺失 DP 323 间隔棒断开 JGB 364 杂物 ZW 248 3.2 模型训练 将数据集中各类别样本按照82随机分成训练集和测试集。训练模型时将图像大
35、小统一调整至640640,使用随机梯度下降法对模型参数进行更新,动量0.937,网络权重因子0.000 5,批大小16,初始学习率0.001,模型迭代次数为300。3.3 模型评价指标 本文采用的模型评估指标为精确率(precision,P)、召回率(recall,R)、平均精度(average precision,AP)、平均精确均值(mean average precision,mAP)和帧率每秒(frame per second,FPS)。各评价指标 第 4 期 郝帅,等:基于 TR-YOLOv5 的输电线路多类缺陷目标检测方法 673 计算式为 TPTPFP=100%+NPNN(8)T
36、PTPFN100%+NRNN(9)10()dAPP RR(10)11niimAPAPn(11)1FPSt(12)其中,NTP为算法预测正确的正样本;NFP为算法预测错误的正样本;NFN为算法未预测出的正样本;P(R)为P-R曲线中P值;AP通过计算P-R曲线与坐标轴所围成的面积得到,AP值越大表示模型检测某类目标的效果越好;mAP是所有类别AP的平均;n为类别数;APi为第i类目标的AP,mAP0.5表示交并比为0.5时的mAP,mAP值越大表示算法检测效果越好;FPS用于衡量算法检测速度;t为算法检测一帧图像所用平均时间,FPS值越大检测速度越快,实时性越好。3.4 结果分析 训练模型过程中
37、所得损失函数实时变化曲线如图7所示。图 7 损失函数曲线 Fig.7 Loss function curve 从图7对比曲线可以看出,虽然2种算法损失函数初值基本相等,但随着训练次数的增加,本文算法损失值收敛速度更快且损失值始终小于YOLOv5算法。最终TR-YOLOv5损失值约为0.024,而YOLOv5为0.025左右,可以看出TR-YOLOv5算 法 取 得 了 更 好 的 训 练 效 果。TR-YOLOv5与YOLOv5算法的mAP0.5曲线如图8所示。从图8可知,TR-YOLOv5算法在训练迭代25次时,mAP0.5已上升至0.82左右,而YOLOv5在训练迭代90次时才升至0.82
38、,且TR-YOLOv5最终稳定在0.956左右,YOLOv5稳定在0.950左右。因此,本文算法在平均精度均值方面有一定提升。图 8 mAP0.5 对比曲线 Fig.8 mAP0.5 contrast curve 从表2可以看出,本文算法平均准确率达到95.6%,召回率达到97.3%。表 2 TR-YOLOv5 模型各类目标检测结果(%)Table 2 Detection result of TR-YOLOv5 model on various targets(%)缺陷类型 Precision Recall XT 96.2 99.6 LSS 78.2 95.7 LST 97.5 98.9 FD
39、G 96.1 97.3 JYT 99.3 97.1 NC 99.8 99.0 FDSJ 99.6 99.5 NS 96.3 96.8 FDD 98.0 98.6 DP 88.4 86.1 JGB 99.1 99.4 ZW 98.5 97.4 ALL 95.6 97.3 为了验证所引入策略的作用和有效性,以原始YOLOv5算法为基础,研究加入C3Trans,RFB和CIOU对YOLOv5算法的影响,使用本文数据集进行实验,结果见表3。表 3 消融实验 Table 3 Ablation experiment C3TransRFBCIOUmAP(%)FPS 参数量-95.0 131.0 7 042
40、489-95.3(0.3)130.8 7 043 257 -95.5(0.2)125.0 7 704 057 95.6(0.1)125.0 7 704 057注:“-”表示未采用;“”表示采用;“”表示升高 从表3中第1行可以看出,原始YOLOv5算法mAP0.5为95.0%,本文算法经过3个方面的改进后虽然参数量增加了661 568,但算法检测速 674 图像处理与计算机视觉 2023 年 度降低了6 FPS,且mAP0.5达到95.6%,相比于原始YOLOv5算法提升0.6%。为了验证本文算法的检测优势,选取包含多类目标、部分遮挡目标、小尺度目标和复杂背景下多尺度目标4组典型场景进行测试,
41、如图9(a)第1组至第4组所示,图像中各类设备缺陷用红色矩形框进行标注。实验中与Faster RCNN9,SSD12,YOLOv313,YOLOv414,YOLOv516,YOLOX-s20和YOLOv721检测算法进行比较,结果如图9(b)(i)所示。(a)(b)(c)(d)(e)(f)(g)(h)(i)第 1 组 第 2 组 第 3 组 第 4 组 图 9 不同算法检测结果(a)原始图像;(b)Faster RCNN;(c)SSD;(d)YOLOv3;(e)YOLOv4;(f)YOLOv5;(g)YOLOX-s;(h)YOLOv7;(i)TR-YOLOv5)Fig.9 The detect
42、ion results of different algorithm(a)Original images;(b)Faster RCNN;(c)SSD;(d)YOLOv3;(e)YOLOv4;(f)YOLOv5;(g)YOLOX-s;(h)YOLOv7;(i)TR-YOLOv5)第 4 期 郝帅,等:基于 TR-YOLOv5 的输电线路多类缺陷目标检测方法 675 4组检测实验结果和分析如下:第1组:存在多类缺陷目标。巡检图像同时存在两类缺陷目标,其形状和尺度差异较大,大尺度目标因感受野受限导致检测精度低,而小尺度目标因特征不明显容易造成漏检。从第1组检测结果可以看出,Faster RCNN,S
43、SD和YOLOv3算法均漏检小尺度目标,YOLOv4算法漏检大尺度目标同时误检了小尺度目标。YOLOv5,YOLOX-s,YOLOv7和本文算法能较好的检测两类缺陷目标,本文算法通过加入Transformer和RFB模块对YOLOv5进行优化,对多类目标检测取得了更高的类别概率,提升了模型对多类目标的检测精度。第2组:故障目标存在部分遮挡。从第2组检测结果可知,Faster RCNN算法误检了遮挡目标,SSD,YOLOv3,YOLOv4,YOLOv5,YOLOX-s和YOLOv7算法对遮挡目标的预测框和真实框位置存在一定偏差,TR-YOLOv5算法对存在遮挡的预测框更接近真实框位置。本文通过引
44、入CIOU边框损失函数,增加了算法对遮挡目标预测框和真实框的度量维度,缺陷目标的边框回归更加准确,提升了算法检测精度。第3组:小尺度目标。第3组检测结果,除Faster RCNN误检和YOLOv3漏检了小尺度目标,其他算法均能做出正确检测。相比于原始YOLOv5算法,本文通过在Backbone引入Transformer结构增强了小目标缺陷的特征表达能力,提升了算法对小尺度目标的检测准确率。第4组:复杂背景下多尺度目标。由于图像中待检测目标与背景较为相似,因此会造成前景和背景的混淆,易造成目标漏检。由检测结果可知,所有算法均能检测大尺度目标,而对于小尺度目标,Faster RCNN算法出现了误检
45、,SSD,YOLOv3,YOLOv4,YOLOv5和YOLOX-s算法均出现了漏检,YOLOv7和本文算法能够实现目标的准确检测。相比于YOLOv5算法,本文算法通过对Backbone和Neck部分进行优化,利用Transformer获取了特征图的上下文信息,增强了小目标的特征表达能力;通过RFB模块提取了更细致的不同尺度特征信息并增大了网络感受野,提升了Neck特征融合效果,使得模型能够准确检测大尺度目标的同时较好地解决了小目标漏检问题。为了进一步客观评价TR-YOLOv5算法优势,将本文算法与经典目标检测算法进行对比实验。所有算法使用相同的数据集和参数进行训练,结果见表4。表 4 不同检测
46、算法性能对比 Table 4 Performance comparison of different algorithms 检测算法 FPSmAP0.5(%)Weights(M)Faster RCNN 2 94.9 113.8 SSD 29 91.7 96.0 YOLOv3 7 93.7 123.5 YOLOv4 14 94.3 256.2 YOLOv5 131 95.0 15.2 YOLOX-s 42 94.5 34.4 YOLOv7 36 95.3 74.8 TR-YOLOv5 125 95.6 15.8 注:加粗数据为最优值 从表4的对比结果可知,Faster RCNN虽然具有较高的检测
47、精度,但检测速度较慢,仅为2 FPS;YOLOv5模型权重最小,模型检测速度为131 FPS,mAP0.5为95.0%;TR-YOLOv5算法mAP0.5达到了95.6%,略高于YOLOv7算法,检测速度为125 FPS,其检测速度略低于YOLOv5算法,但是相比于SSD,YOLOv3,YOLOv4,YOLOX-s和YOLOv7算法具有明显的速度优势。4 结束语 针对输电线路电力部件缺陷在复杂环境下多尺度目标难以准确检测的问题,提出了基于TR-YOLOv5的输电线路多类缺陷目标检测算法。通过在YOLOv5算法Backbone部分引入了Transformer模块获取特征图的全局信息和上下文信息,
48、可以有效增强小尺度目标的特征表达能力;通过采用RFB模块提取目标的不同尺度特征信息和增大网络感受野,可以提升Neck特征融合效果,进而提高算法对多尺度目标的分类和检测精度。利 用 某 电力 巡 检 部门 近3年的 巡 检 数据对TR-YOLOv5算法进行验证。实验结果表明,所提出的算法具有较高的检测精度和检测实时性,其平均检测精度为95.6%,检测速度为125 FPS,为无人机在线缺陷检测提供了理论参考。由于本文算法在检测阴影区域中的小尺度缺陷目标时,存在不同程度的漏检情况,后期将针对该问题展开进一步研究。参考文献(References)1 赵振兵,齐鸿雨,聂礼强.基于深度学习的输电线路视觉检
49、 676 图像处理与计算机视觉 2023 年 测研究综述J.广东电力,2019,32(9):11-23.ZHAO Z B,QI H Y,NIE L Q.Research overview on visual detection of transmission lines based on deep learningJ.Guangdong Electric Power,2019,32(9):11-23(in Chinese).2 蒲天骄,乔骥,韩笑,等.人工智能技术在电力设备运维检修中的研究及应用J.高电压技术,2020,46(2):369-383.PU T J,QIAO J,HAN X,et
50、al.Research and application of artificial intelligence in operation and maintenance for power equipmentJ.High Voltage Engineering,2020,46(2):369-383(in Chinese).3 WONG S Y,CHOE C W C,GOH H H,et al.Power transmission line fault detection and diagnosis based on artificial intelligence approach and its