1、第 44 卷第 2 期2 0 2 3 年 2 月兵工学报ACTA AMAMENTAIIVol 44 No 2Feb2023DOI:10 12382/bgxb 2021 0674基于机器视觉与深度学习的飞机防护栅裂纹检测系统张良安1，陈洋1，谢胜龙2，3，刘同鑫1(1 安徽工业大学 机械工程学院，安徽 马鞍山 243000;2 安徽省工业互联网智能应用与安全工程实验室，安徽 马鞍山 243023;3 中国计量大学 机电工程学院，浙江 杭州 310018)摘要:针对传统飞机防护栅裂纹检测中存在的效率低、可靠性差等问题，基于机器视觉技术设计一种飞机防护栅裂纹检测装置，并结合图像处理技术与深度学习原理
2、提出一种飞机防护栅裂纹检测算法。设计飞机防护栅裂纹检测系统，研究防护栅裂纹图像识别算法。采集并整理飞机防护栅裂缝图像，研究并制作飞机防护栅裂纹检测数据集;分别以 ZF-Net、VGG-16 和 esNet-101 卷积神经网络作为 Faster-CNN 特征提取网络，开展飞机防护栅表面裂纹和缺陷裂纹检测研究。实验结果表明:3 种模型均达到了良好的检测精度，其检测精度分别为 92.79%、95.12%和 97.54%，其中 esNet-101 网络检测效果最好，相比于现有的防护栅裂纹机器视觉检测方法，漏检率和虚警率分别下降了 22.54%和 89.28%，检出率提高了 22.54%;esNet-
3、101 网络在不同光照条件下仍有较高的检测精度，检测装置和检测算法有效，可为飞机防护栅的检测提供了新方法。关键词:飞机防护栅;裂纹检测;机器视觉;深度学习;卷积神经网络中图分类号:TP391.4文献标志码:A文章编号:1000-1093(2023)02-0507-10收稿日期:2021-10-13基金项目:湖州市科技计划项目(2021GN03);国家自然科学基金项目(52205037);政府间国际科技创新合作重点专项项目(2017YFE0113200);安徽省工业互联网智能应用与安全工程实验室开放基金项目(IASII21-04)Crack Detection System for Aircra
4、ft Protective Grillbased on Machine Vision and Deep LearningZHANG Liang an1，CHEN Yang1，XIE Shenglong2，3，LIU Tongxin1(1 School of Mechanical Engineering，Anhui University of Technology，Maanshan 243000，Anhui，China;2 School of Mechanical and Electrical Engineering，Maanshan 243023，Anhui，China;3 College o
5、f Mechanical and Electrical Engineering，China Jiliang University，Hangzhou 310018，Zhejiang，China)Abstract:To address the problems of low efficiency and poor reliability in the crack detection oftraditional aircraft protective grill，a crack detection device is designed based on machine visiontechnolog
6、y Combined with image processing technology and deep learning principles，a crack detectionand calculation method for aircraft protective grill is proposed Firstly，a detection system is designed，and the image recognition algorithm of protective grill is studied，and then，the crack images of aircraftpr
7、otective grill are collected and sorted，and the crack detection data set is studied and made Secondly，the ZF-Net，VGG-16 and esNet-101 convolutional neural networks are used as the feature extractionnetworks of Faster-CNN to detect surface cracks and defect cracks of the aircraft protective grill The
8、experimental results show that:the three models can achieve good detection accuracy，which are92.79%，95.12%and 97.54%respectively;the esnet-101 network has the best detection effect;兵工学报第 44 卷compared with the existing machine vision detection method for protective grill cracks，the misseddetection ra
9、te and false alarm rate are reduced by 22.54%and 89.28%respectively，and the detectionrate is improved by 22.54%Further research shows that the esNet-101 network still has high detectionaccuracy under different lighting conditions，which shows the effectiveness of the detection device anddetection alg
10、orithm This research provides a new method for crack detection of the aircraft protectivegrillKeywords:aircraft protective grid;crack detection;machine vision;deep learning;convolutionalneural network0引言飞机防护栅作为飞机发动机进气口的防护装置，能有效阻止沙石等外来物被吸入进气口，为飞机发动机叶片正常工作提供保护作用1 2。但在其使用过程中，不可避免地会受到高速气流所产生的应力作用和外来物的冲击
11、，从而产生不同程度的裂纹。如果不及时发现并维修，则防护栅网格可能因此断裂并失效，引起沙石等外来物吸入进气口，造成发动机叶片损伤，进而导致严重的飞行事故。因此，实现飞机防护栅裂纹的快速检测十分重要3 4。目前，在飞机疲劳试验中裂纹的检测手段主要包括人工检查、涡流和超声波等5 7，这些方法因防护栅的特殊结构在检测效率和检测精度上都受到了极大的限制。机器视觉检测构成主要为相机、镜头、光源、图像处理软件、控制系统等，通过对工业相机采集到的图像进行相应的图像处理，根据反馈得到检测结果。机器视觉检测为无接触测量面，对被检测的物体材料和形状等都无特定的要求，因此应用广泛。随着机器视觉技术的快速发展，深度神经
12、网络在分类、检测和识别方面的检测效率和精度都得到了大幅提升8。相比传统的机器学习需要预处理和人工提取特征等一系列复杂操作9，深度学习只需要构造卷积神经网络，神经网络就会主动学习图像特征，从而完成特征提取，为裂纹自动化检测提供了一条新的解决路径，因 此 引 起 了 国 内 外 很 多 学 者 的 关 注。陈波等10对图像处理和卷积神经网络进行了研究，实现了对坝面裂纹的识别。Zheng 等11设计开发了一种使用有限数量的训练图像进行轨道表面裂纹检测的深度迁移学习框架。王森等12为实现复杂背景下裂纹目标的有效检测及降低错误标记，将全卷积网络(FCN)引入图像裂纹检测中，并针对裂纹检测实验中 FCN
13、模型存在丢失局部信息和丧失部分精细化区分能力的问题，构建了一种Crack FCN 模型。吕帅帅等13为了解决飞机结构构型多样及疲劳试验环境复杂等问题，提出了一种基于关键结构定位的检测策略，并以区域卷积神经网络为基础对模型架构和非极大值抑制模块进行了适应性改进，提出了一种裂纹自动识别方法。以上研究均表明图像处理与深度学习技术对裂纹的检测具有很好的效果，但目前在飞机防护栅的表面裂纹检测中尚未见到相关应用。本文基于机器视觉技术设计了一种飞机防护栅裂纹检测装置，并结合图像处理技术与深度学习原理提出了一种飞机防护栅裂纹检测算法。在自制防护栅裂纹数据集的基础上，分别采用 ZF-Net、VGG-16 和 e
14、sNet-101 卷积神经网络作为 Faster-CNN特征提取网络，开展了防护栅表面裂纹对比研究，并得出相关结论。1检测系统设计1.1防护栅结构本文研究的飞机防护栅实物如图 1 所示，图 1(a)所示为 飞 机 防 护 栅 正 面 实 物 示 意 图，图 1(b)所示为其反面和槽面实物示意图。该防护栅由1.8 mm 厚度的钛合金板材加工而成，其表面分布有 9 万多个 2.5 mm 2.5 mm 的小网格，网格之间的格框宽度仅为 0.55 mm，且裂纹非常细小，有的裂纹宽度仅有 10 m 左右，多分布在防护栅网格与网格之间的分界处，检测环境复杂。飞机防护栅这种结构特点给人工检测带来了极大的难度
15、，而传统的无损检测技术(如超声波和涡流等)也因这种结构特点无论是在检测效率还是检测精度上都受到了极大的限制。而机器视觉因为其检测的无接触性、精度高和现场抗干扰能力强等突出的优点，在这种困难检测条件下能较好地完成裂纹检测任务。因此，研究新型飞机防护栅裂纹自动检测系统以代替传统的检测手段，具有非常重要的意义。805第 2 期基于机器视觉与深度学习的飞机防护栅裂纹检测系统图 1飞机防护栅结构示意图Fig 1Protective grill structure1.2检测系统飞机防护栅裂纹检测装置如图 2 所示，它由高精密三坐标机器人控制系统、末端相机装载装置、数字成像系统和计算机平台组成。图 2检测装
16、置Fig 2Detection device高精密三坐标机器人移动控制系统由 1 台工控机和 7 组高精度驱动控制平台组成。每 1 组精密驱动控制平台都由 1 个伺服驱动器、1 个伺服电机组成，7 组高精度驱动控制平台统一由 1 块 PCI 运动控制卡控制。防护栅放置平台如图 3 所示，3 组高精度驱动控制平台可使该放置平台进入设备内部，并且可沿 x 轴、y 轴方向倾斜，从而使相机能全方位采集防护栅图像。为加快图像采集和检测效率，结合防护栅的结构特点在三坐标机器人末端设计了能同时搭载 8 个相机的相机搭载装置，如图 4 所示。图 3防护栅放置平台Fig 3Protective grill placement platform图 4相机搭载装置Fig 4Camera mounting device设备硬件具体参数如表 1 所示，2 000 万像素的工业相机搭配光学倍率为 0.44 的远心镜头，能够精确成像仅 10 m 宽的裂纹，有效地解决裂纹尺度较小对检测效果的影响。环形漫射光源能为防护栅提供均匀高亮度照明，千兆以太网能确保实时接收相机图像数据。表 1设备硬件参数Table 1Devic