1、第 4 卷第 4 期2022 年 12 月微纳电子与智能制造Micro/nano Electronics and Intelligent ManufacturingVol.4 No.4Dec.2022基金项目:国家自然科学基金(52075062),重庆市技术创新与应用发展(cstc2021jscx-gksbX0039)项目资助王慧菁,硕士。E-mail:2664510313 杨长辉(通信作者),博士,教授,主要研究方向为机器视觉检测与机器人。E-mail:yangchanghui DOI:10.19816/ki.10-1594/tn.2022.04.071基于机器视觉的金属表面缺陷检测方法综述
2、王慧菁,杨长辉,吕庆(重庆理工大学机械工程学院 重庆 400050)摘要:金属材料广泛应用于装备制造、机械电子等支柱性产业中,金属表面缺陷检测对工业生产中产品质量的控制至关重要,机器视觉作为自动检测技术在该方面应用甚广。本文首先对金属表面缺陷检测技术的现状进行讨论。其次,针对金属表面缺陷检测中的机器视觉方法,从传统算法和深度学习两个方面进行阐述,针对传统机器视觉方法主要讨论阈值分割、边缘检测、聚类等,并对各种方法进行对比;深度学习方法主要聚焦在缺陷检测和缺陷分割两个方面,对金属表面缺陷检测的一些主流算法和网络模型进行总结。最后,分析了机器视觉在金属表面缺陷检测中存在的困难和挑战,对未来的发展做
3、出了展望。关键词:图像处理;缺陷检测;深度学习;金属表面中图分类号:TP301.6 文献标识码:A 国家标准学科分类代码:460Review of metal surface defect detection methods based on machine vision WANG Huijing,YANG Changhui,LYU Qing(School of Mechanical Engineering,Chongqing University of Technology,Chongqing 400050,China)Abstract:Metal materials are widely
4、used in equipment manufacturing,machinery and electronics and other pillar industries.Metal surface defect detection is critical to product quality control in industrial production.Machine vision,as an automatic detection technology,is widely used in this field.In this paper,the status quo of metal
5、surface defect detection technology is discussed at first.Secondly,machine vision methods in metal surface defect detection are described from two aspects:traditional algorithms and depth learning.Traditional machine vision methods mainly include threshold segmentation,edge detection,clustering,etc.
6、,and various methods are compared;the deep learning method mainly focuses on defect detection and defect segmentation,and summarizes some mainstream algorithms and network models of metal surface defect detection.Finally,the difficulties and challenges of machine vision in metal surface defect detec
7、tion are analyzed,and the future development is prospected.Keywords:image processing;defect detection;deep learning;metal surface0引言金属材料广泛应用于装备制造、机械电子和其他支柱产业,为社会的发展和人们生活的改善做出巨大贡献。但是,在实际生产或设备运行过程中,金属制品、零件表面易产生缺陷或疲劳损伤,不仅影响产品质量,还可能造成机械设备重大损失。金属表面缺陷的数量、程度和分布也会直接影响产品的质量。为了保证产品质量和工业损失达到最小化,非常有必要对金属表面进行无损检
8、测。金属无损检测是指在不改变材料的有用性或可用性的情况下检测和评估缺陷1。由于无损检测避免了和金属直接接触,对检测结果影响降到最小,因此安全优势较为明显,并可以减少不必要的成本,在金属缺陷检测中得到了广泛的应用。例如:金属表面长时间接触会产生点蚀、裂纹、剥落等缺陷。图 1 为金属表面常见疲劳缺陷。最初为了检验出产品的表面缺陷,大多采用人工的方式,不仅效率低,劳动强度大,检测的准确率也不高,为了克服这种弊端,国内外学者在检测方法上进行了广泛的研究。目前,自动化无损检测的方式是重要的发展方向,其中,基于机器视觉的检测方法尤为突出,广泛应用于钢板和带材2、铝板和铝带3、铜板和铜带4以及其他金属表面缺
9、陷的检测。72 微纳电子与智能制造第 4 卷如图 1 所示,金属表面缺陷通常处于比较复杂的图像背景中,这给缺陷的自动识别和检测带来很多困难。近些年,随着机器视觉的迅速发展,国内外学者提出诸多解决方案。本文主要从传统算法和深度学习两个方面阐述。图 1金属表面缺陷Fig.1Metal surface defects传统的机器视觉方法主要包括图像预处理、图像定位与分割、特征提取等。然而,此类方法受主观因素影响较大,并且准确率不高,实时性差,效率较低,难以满足工业生产的需求。由此逐渐转向使用深度学习来解决这些问题。深度学习在金属表面缺陷检测的方式主要有语义分割和实例分割,这是直接端到端的检测方式,具有
10、学习能力强、可移植性好的特点,但是也存在计算量大、模型复杂的缺点。本文针对金属表面缺陷的传统检测方法和深度学习方法进行讨论,图 2 为金属表面缺陷方法的技术框架。图 2金属表面缺陷检测方法框架Fig.2Framework of metal surface defect detection method本文后续内容组织如下:第 1 节介绍金属表面缺陷检测的研究现状,做出时间线上的概况总结。第 2 节介绍基于传统机器学习的表面缺陷检测的方法,按照检测的步骤进行归纳整理。第 3 节主要是基于深度学习方面的表面缺陷检测,以模型的分类为标准做出整理。第 4 节对目前存在的困难做出整理,第 5 节针对如何
11、解决这些困难提出未来发展趋势,并做出展望。1金属表面缺陷检测技术现状在金属表面缺陷检测的发展中,最初由人工进行检测工作,存在很大的局限性,有时也会采取一些技术手段提高人眼的注意力。但是人工检测存在劳动强度大、容易漏检和误检的缺点。20 世纪 80 年代在法国洛林连轧公司福斯厂首次出现涡流检测方法5,将该装置安装在设备前,在钢材表面做往复运动来检测缺陷。通过线圈产生涡流,再接收返回信号检测钢材中的缺陷。这种检测方式克服了人工检测的部分缺陷,但是需要很大的电流励磁,在生产上造成能源的极大浪费,并且速度很慢,不适合高速情况下进行表面检测。在金属的无损检测中,漏磁检测法逐渐开始被使用,这种检测方法利用
12、了漏磁通密度与缺陷的体积成正比的关系进行识别,并且1993 年日本川崎千叶制铁基于漏磁技术开发了在线非金属夹杂物检测装置6。但是这种方式受周围环境的影响太大,难以满足高速、高质量的要求。随着激光技术的越发成熟,日本川崎公司也研制了基于激光技术的镀锡板检测装置7。1988 年美国Sick 光电子公司研制成功了平行激光扫描检测装置8。但是由于钢质表面的杂质会影响激光光路,极大影响了检测效果,降低系统的识别能力,也限制了激光检测技术在金属无损检测中的应用。美国的Honeywell 公司在 1983 年完成了基于 CCD(charge-coupled device)的金属表面缺陷检测装置9,该研究确立
13、了机器视觉在表面缺陷检测的主流位置。随着卷积神经网络(convolutional neural network,CNN)的迅速发展,金属表面缺陷检测的方法也逐渐从传统的检测开始转向深度学习的方法。Fu 等10提出了一种 CNN 模型,通过对底层特征的训练,该模型可以获取深层的信息,并通过结合多个感受野对钢表面缺陷进行快速准确的分类。在处理不同类型的钢材表面缺陷时,LV 等11提出了一种新的端到端的缺陷检测网络(EDDN),有效地解决了面对不同类型的问题。HAN 等12提出一种新的基于编解码器残差网络(EDR-Net)的检测方法。在编码阶段,主要采用全卷积神经网络进行特征提取,并且结合注意力机制
14、,将 模 型 的 收 敛 速 度 提 高 了 很 多。konovalenko等13中评价残差神经网络在不同工业钢材缺陷识第 4 期王慧菁 等:基于机器视觉的金属表面缺陷检测方法综述73 别中的应用,开发了基于深度残差神经网络的模型,用于轧钢表面缺陷的识别和分类。为了解决金属板带表面各种随机缺陷的检测问题,王海云等14提出一种融合多层特征的 Faster R-CNN 算法。随后,代小红等15改进了 Faster R-CNN 算法,以解决工件表面的低精度问题,在金属表面缺陷检测方面,准确度得到很大的提升。图 3 对金属表面缺陷检测技术的发展脉络进行总结。图 3金属表面缺陷检测技术发展脉络Fig.3
15、Development of metal surface defect detection technology2基于传统机器视觉的金属表面缺陷检测表 1 对比了金属材料表面缺陷现有的传统机器视觉检测方法。表 1传统机器视觉方法的比较Table 1Comparison of traditional machine vision methods分割方法算法简单性能稳定实现简单速度快适应性强阈值分割边缘分割聚类机器学习在工业产品采集图像的过程中,周围复杂的环境情况总会存在噪声,对后续的图像处理造成困扰,因此有必要在做后续工作前对图像进行预处理,主要目的是减少噪声和提高图像质量,使其更适合后期的识别
16、处理。图像的定位与分割主要利用目标图像的边界、形状等属性来确定检测目标的位置,并且从图中分割出目标是确定其中目标大小、方向等信息的重要手段。图像的分割是将目标和背景分成若干个特定性质的区域并提出感兴趣的目标的过程。2.1阈值分割阈值分割是对金属表面缺陷进行分割的一种通用方法,广泛用于大量的在线检测系统16-17。Dju-kic 和 Spuzic18在没有缺陷的热轧钢图像中尝试估计了像素强度的分布,被看作是自适应阈值的基础。之后,动态阈值的处理过程可以将真实的缺陷和随机的噪声区分开。此外,Nand 等19通过比较有缺陷和无缺陷的局部熵,利用背景减法提取了图像的缺陷区域,但这只是针对局部的缺陷提取。为获取全局性的检测,Neogi 等20提出一种基于梯度的全局自适应阈值方案,不论缺陷的形状和大小,可以有选择地分割缺陷区域并且有效保留缺陷的边缘。若进一步完成缺陷检测的任务,有望更智能地进行动态阈值机制的设计。2.2边缘检测边缘检测主要是识别图像中亮度跳变较为明显的部分,缺陷区域和背景区域形成的灰度差使边界处形成明显的边缘,通常利用局部图像的微分技术来获取边缘检测算子,常用的金属表面缺陷检测模板
