1、2023 年 2 月 25 日第 7 卷第 4 期现代信息科技Modern Information Technology Feb.2023 Vol.7 No.41011012023.022023.02收稿日期：2022-10-15基金项目：中国铁路兰州局集团有限公司科技发展项目（LZJKY2022003-1）基于显著性和 YOLOv3 的受电弓异物侵限检测王同丽1，郭佑民1，高德阳2，范永勤2，黄文平2（1.兰州交通大学 机电技术研究所，甘肃 兰州 730070；2.中国铁路兰州局集团有限公司，甘肃 兰州 730070）摘 要：异物侵入受电弓对高速铁路运营安全危害极大，文章提出一种基于显著性和
2、 YOLOv3 的受电弓异物侵限检测方法。首先，用 U2-Net 网络对采集到的图像进行显著性检测，准确定位受电弓区域；其次，将 YOLOv3 网络的预测尺度增加到 4 个，采用 K-means+算法重新计算先验框，用深度可分离卷积替换标准卷积的方法改进模型来提高准确度和速度；实验结果表明，改进后的YOLOv3-R模型检测准确度比YOLOv3提高了8.68%，检测速度提高了5.5%，能够快速有效地检测出受电弓上的异物。关键词：异物检测；显著性检测；感兴趣区域；预测尺度；先验框初始化；深度可分离卷积中图分类号：TP391.4；TP18 文献标识码：A 文章编号：2096-4706（2023）04
3、-0101-05 Detection of Pantograph Foreign Body Intrusion Based on Saliency and YOLOv3WANG Tongli1,GUO Youmin1,GAO Deyang2,FAN Yongqin2,HUANG Wenping2(1.Institute of Mechanical and Electrical Technology,Lanzhou Jiaotong University,Lanzhou 730070,China;2.China Railway Lanzhou Group Co.,Ltd.,Lanzhou 730
4、070,China)Abstract:Foreign body intrusion into pantograph has great harm to the operation safety of high-speed railway.This paper proposes a pantograph foreign body intrusion detection method based on saliency and YOLOv3.First,U2-Net network is used to detect the saliency of the collected images and
5、 accurately locate the pantograph area.Secondly,the prediction scale of YOLOv3 network is increased to 4,the prior box is recalculated by K-means+algorithm,and the standard convolution is replaced by depth separable convolution to improve the model to improve the accuracy and speed.The experimental
6、results show,compared with YOLOv3,the detection accuracy of the improved YOLOv3-R model is increased by 8.68%,and the detection speed is increased by 5.5%,which can quickly and effectively detect foreign bodies on the pantograph.Keywords:foreign body detection;saliency detection;region of interest;p
7、rediction scale;the prior box initialization;depth separable convolution0 引 言近年来国内高速铁路实现了从和谐号到复兴号的迅速发展，其追求速度提升的同时，安全运行也是极其重要，在列车高速运行的过程中，受电弓可能会出现异物碰撞或黏附，引发意外停车等事故，从而影响高速铁路的正常运行。传统的受电弓检测技术主要是人工观察记录的方法，工作人员登上车顶，查看受电弓是否有异物，然而这种方法成本高，可靠性差。随后接触式和非接触式的智能化受电弓异常状态检测技术开始兴起1。接触式检测的主要方式是通过安装在机车受电弓上的各种传感器传递的信号来
8、判断是否出现了异常状态2。非接触式检测通过激光3、超声波4等检测受电弓的异常，但是非接触式检测技术检测功能单一，检测精度较差。之后异物检测系统逐渐开始利用传统的图像处理技术来达到异物检测的目的5-7，由于其检测异物精度低，更多人开始利用深度学习模型研究异物检测8-10，采用深度学习技术检测异物精度高、速度快。目前，受电弓异物检测算法大多数是对整张图像进行异DOI:10.19850/ki.2096-4706.2023.04.026物检测，即对摄像头拍摄到的整个区域进行异物检测，容易对感兴趣区域外的复杂区域进行检测，造成误检，除此以外，目前的深度学习目标检测算法大多对大目标或中目标检测准确度高，而
9、小目标由于分辨率低、体积小，很难被检测到。针对以上受电弓异物检测中的不足，本文探讨了一种基于显著性和YOLOv3网络的受电弓异物侵限检测方法，实验表明：本文方法能够有效检测出感兴趣区域内发生的异物碰撞或黏附，具有较高的检测精度和速度。1 基于 U2-Net 网络的显著性检测显著性检测可以视为是一个语义分割的问题11，将图像的显著性目标区域从图像中拆分出来，受电弓异物侵限检测只需要对感兴趣的区域进行检测，否则容易造成误检，本文使用 U2-Net 网络模型12进行显著性检测，U2-Net 网络是一个两层嵌套的 U 型网络。1.1 U2-Net 网络U2-Net 的网络主要由六级编码器，五级解码器以
10、及显著图融合模块三部分构成，每级编解码阶段均由RSU（ReSidual U-blocks）填充。每个 RSU 就是一个小号的 U-Net，最后所有的 RSU 用类似于 FPN 的结构连接在一起，提升了多尺度能力。1021022023.022023.02第 4 期现代信息科技1.2 显著性检测本文实验所用到的受电弓图像来自铁路现场拍到的受电弓图像。使用 Labelme 标注工具标注实验中使用的受电弓显著数据集。由于铁路上拍的数据较少，使用平移、翻转、旋转角度、随机颜色、缩放变形图片、二值化图像、随机黑色块遮挡、添加噪声等数据增强的方式对数据集进行扩充，获得图像数据共 500 张，标注生成受电弓图
11、像 500 张，其中70%作为训练集，30%作为测试集。基于 U2-Net 网络的受电弓显著性检测如图1所示，其中图1（a）图是受电弓原图像，图 1（b）图是受电弓显著性检测结果。（a）原图 （b）显著性检测图 1 基于 U2-Net 网络的受电弓显著性检测1.3 感兴趣区域划分在得到受电弓显著性检测图后，绘制出其轮廓的外接矩形并使用红色边框线框出，得到外接矩形坐标（x1,y1,x2,y2），其中（x1,y1）是图像的左上角坐标，（x2,y2）是图像的右下角坐标，然后在原图上绘出受电弓 ROI 区域，受电弓感兴趣区域划分如图 2 所示，从左到右依次为原图、显著性检测图、外接矩形图、感兴趣区域图
12、，可以看出，外接矩形法对显著性检测后的受电弓区域识别准确，可以很好地定位受电弓异物感兴趣区域，得出背景较为简单的受电弓区域。图 2 受电弓感兴趣区域划分2 受电弓异物侵限检测模型对碰撞或黏附在受电弓上的异物进行检测时，目前的深度学习模型大多对大目标或中目标检测准确度高，而小目标由于分辨率低、体积小，很难被检测到，同时，在检测速度上也做了相应的改进，针对以上问题，本文在对受电弓感兴趣区域划分后，对 YOLOv3 目标检测网络进行改进：（1）在原有的三尺度预测层基础上增加一个特征检测层对小目标进行检测，提高准确率；（2）改进先验框初始化，重新计算网络需要的 anchors；（3）使用深度可分离卷积
13、替代标准卷积，改进后的模型提高了检测准确率和检测速率。2.1 改进多尺度预测YOLOv3 网络中采用了 FPN 结构对目标进行多尺度预测13，YOLOv3对输入图像进行特征提取，随着网络的深入，会产生 3 中不同尺寸的特征图，分别检测图像中的大目标，中目标和小目标，但是在受电弓异物侵限检测中会存在一些体积更小的小目标。如果只用 3 尺度预测来检测目标，会因为没有充分利用图像的浅层语义信息从而丢失小目标信息。本文在原来预测尺度的基础上增加 104104 尺度的特征检测层，变成 4 尺度预测，提高对小目标的检测能力，改进多尺度结构如图 3 所示，其中虚线表示增加的检测尺度。从图 3 中可以看出，整
14、个网络是由 11 和 33 的卷积组成，concat 为张量拼接，用来扩充张量的维度，其中 y1、y2、y3是 YOLOv3 原有的检测尺度，y4是新增的检测层，当输入图像为 416416 时，其输出特征图尺寸是 104104，是 c 处的特征图与 Scale4 处得到的特征图进行 concat 拼接后得到的，用于检测图像中的更小目标，由此，YOLOv3 完成了 4 尺度预测，提高了小目标的检测准确率。通过改进后的四尺度结构图可以知道，改进后的四个特征尺度都包含了浅层语义信息和深层语义信息。因此 4 尺度预测结构比 3 尺度预测结构更好地利用了图像浅层信息，从而达到了检测更小目标的目的，同时
15、4 尺度预测还保留了原 3 尺度预测结构，满足检测大目标、中目标的能力。类型 卷积大小 特征图大小 Convolutional 32 33 416416 Convolutional 64 33/2 208208 Convolutional 128 33/2 104104Convolutional 256 33/2 5252 Convolutional 64 11 Residual 104104 Convolutional 512 33/2 2626Convolutional 1 024 33/2 1313ConvsConvsConvsScale1Scale2Scale312884Avgpool
16、 GlobalConnected 1 000SoftmaxConvolutional 32 11 Convolutional 64 33Residual 208208 Convolutional 128 33 Convolutional 128 11 Convolutional 256 33 Residual 5252 Convolutional 512 33 Convolutional 256 11 Residual 2626 Convolutional 512 11 Residual 1313 Convolutional 1024 33 y1y2y3abconcatconcatScale4y4Convsconcatc图 3 改进多尺度结构2.2 改进先验框初始化在 YOLOv3 中，默认的 anchors 是使用 K-means14聚类算法在 COCO 数据集上聚类得到的，YOLOv3 有三个尺寸不同的特征图，每一个特征图都具有 3 个大小不同的anchors，因而共有 9 个 anchors，而改进后的多尺度预测有四个检测尺度，需要 12 个 anchors，而且本文数据集与10
