1、第 卷第期计算机集成制造系统 年月 ：收稿日期：；修订日期：。；主从特征融合驱动的铝型材表面缺陷检测刘孝保，张嘉祥，阴艳超，刘佳（昆明理工大学 机电工程学院，云南昆明 ）摘要：针对因仅考虑纹理特征而造成铝型材表面缺陷检测精度较低的问题，提出一种主从特征融合驱动的表面缺陷检测模型。该模型的构建主要包括个部分：首先采用经 损失函数优化的 模型完成缺陷分布不均匀的样本分割与定位；然后集合卷积神经网络（）与反向传播神经网络（）构建融合图像纹理特征、梯度信息和缺陷形状特征的主从特征预分类层；最后通过级联特定模糊规则的模糊神经网络完成缺陷的最终分类。利用阿里天池比赛的铝型材数据集中的类缺陷样本对模型进行了
2、实验验证，平均分类检测精度达到 ，为铝型材表面缺陷检测提供了新方法。关键词：铝型材表面缺陷检测；主从特征融合驱动；卷积神经网络；反向传播神经网络；模糊神经网络中图分类号：文献标识码：，（，）：，；（）（），；，：；引言铝型材在生产过程中要经过圆铸锭铸造加工、挤压与淬火、生产试制样品、取样检测、阳极氧化、检测等工艺流程。因为工艺的复杂性，所以不可避免地会造成擦花、漏底、碰伤等缺陷，且不同缺陷因产生原因的不同，使其在纹理和外观形状方面均存在较大差异。在铝型材表面缺陷检测方面，目前大多数企业采用人工检测的方法，但该方法存在效率低和准确度差等问题。由于计算机视觉技术的高效准确等技术优势，基于计算机视觉
3、技术的表面质量检测研究应用备受关注。近年来，基于计算机视觉的表面缺陷检测方法可以概括为类：传统的图像处理方法，该方第期刘孝保 等：主从特征融合驱动的铝型材表面缺陷检测法主要利用不同缺陷的图像特征差异进行直接识别，其中主要包括阈值方法、光谱方法、光谱方法和结构方法等；基于图像处理和浅层特征提取的机器学习方法，该方法通过提取输入图像的特征并建立特征向量，然后将特征向量输入分类器中，从而确定是否有缺陷，主要包括区域特征提取（，）算法、方向梯度直方图（，）、基于可变型部件的模型（，）以及 等具有良好性能的特征提取及分类器；基于卷积神经网络的缺陷检测方法，该方法以经典结构 的 卷 积 神 经 网 络（，
4、）为基础骨架处理图像，进而生成深层特征图，最后完成缺陷检测，主要包括基于快速区域的卷积神经网络（，）以及更快的基于区域卷积神经网络（）的二阶检测网络和一阶检测网络。如 等 提出 检测模型，并借鉴 与 模型的思想，提出了 检测模型；黄凤荣等 利用 对发动机零件表面缺陷进行检测，在检测精度和速度上有了较大提升；李维刚等 针对目前热轧钢带表面缺陷检测过程中存在精度低的问题，通过对 算法进行改进，在性能上优于多种检测模型；熊红林等 利用多尺度卷积神经网络对玻璃表面缺陷完成检测。尽管上述研究对表面缺陷检测进行了深入的研究应用，但是因缺陷检测网络只关注缺陷的纹理特征和梯度信息，而忽略形状次要特征，从而导致
5、识别精度较低。为此，本文提出一种融合图像纹理特征及梯度信息等主要特征和形状特征等次要特征的缺陷检测模型。该模型包含了通过优化 图像分割模型对图像中缺陷区域定位的图像分割模块；通过融合卷积神经网络、神经网络与模糊神经网络构建出基于数据融合的图像分类模块，进而完成缺陷区域的分类。最后，基于阿里天池铝型材数据集对该模型进行验证，其分类的平均精度高达 ，验证了该模型的可行性和有效性。铝型材表面缺陷检测模型的构建由于铝型材表面进行了特殊处理，导致铝型材缺陷样本容易出现照明不均匀、强反射和背景噪声等问题，且因工艺的复杂多样性造成的不同缺陷在形状、尺度上均存在差异，铝型材缺陷样本如图所示。在样本纹理特征上，
6、不同缺陷的样本其纹理存在相似性问题，尤其是在外界因素（如强反射）的影响下，擦花样品缺陷区与样品边缘几乎一致（如图），漏底与凸粉样品缺陷区域与非缺陷区域相似度较高（如图 和图）。为此，整合缺陷区域的纹理信息、梯度信息和形状信息，并以此作为表面缺陷检测的依据，本文建立了基于主从特征融合的缺陷检测模型。通过构建集成融合缺陷定位层、缺陷主从特征融合分类层，构建了主从特征驱动的缺陷检测模型，模型结构如图所示。在该模型中每种分支模型可以根据自身特点，提取缺陷图像样本中不同层次的图像特征。缺陷定位层用来定位铝型材样本中缺陷区域的具体位置，制作出只包含缺陷区域与背景的掩膜图像，进而提取出图像的缺陷区域。缺陷主
7、从特征融合分类层，利用图像的纹理特征、梯度信息与形状特征，以及数据融操作，完成缺陷分类。计算机集成制造系统第 卷 缺陷区域分割定位层缺陷检测包含缺陷定位和缺陷识别两部分，因此缺陷定位的准确性也是缺陷检测过程中的重要指标。在缺陷定位上采用 模型，对铝型材缺陷样本进行分割，完成对样本中的缺陷区域进行准确定位。由于数据为单类别缺陷的一个或多个实例，缺陷区域的面积占比主要分布在 之间，正样本（缺陷区域）与负样本（背景区域）的占比已经超过了，打破了图像分割时正负样本分布平衡的界限。因此通过采用 损失函数降低负样本在训练过程中的权重，使正负样本达到平衡状态，其优化的方式通过可变因子乘以原始的交叉熵损失函数
8、，如式（）所示。（）（），；（）（），。（）式中：为平衡因子；为经过激活函数处理的结果，范围在之间；为调节负样本权重降低的速率。当时，损失函数为交叉熵损失函数，变化时，调变因子（）也会随之变化，从而起到降低负样本权重，平衡样本权重的作用。为了评估检测结果的优劣程度，选择交并比（值）与像素精度（）进行评价。交并比（）表示原始分割结果与原始图像真值的重合程度，在实验中可以理解为分割模型的预测值与标注值的图像的重合度，其计算如式（）所示：（，）（）（）。（）式中：为铝型材缺陷区域的标注框，为分割模型对 铝 型 材 样 本 缺 陷 区 域 的 预 测 框。像 素 精 度（）表示正确分割图像的像素数量与
9、像素总数之间的比率，其计算如式（）所示：（）（）。（）式中 表示实际类型为，预测类型为的像素总数。主从特征缺陷分类层铝型材缺陷样本形状差别大，因此将铝型材的纹理特征与梯度信息作为主要识别特征的同时，引入缺陷的形状特征参数作为辅助特征，以此获得更好的分类效果。利用紧凑的卷积神经网络对纹理特征与梯度信息进行提取并分类，同时构建可以自动提取图像形状特征的神经网络对形状特征进行提取并分类。主从特征缺陷预分类网络的具体结构如图所示。第期刘孝保 等：主从特征融合驱动的铝型材表面缺陷检测（）纹理主特征分类网络在图像的纹理特征与边缘梯度特征的提取方法中主要是对图像进行卷积运算，卷积运算是卷积神经网络的基本计算
10、。浅层的卷积神经网络会提取图像的颜色特征，但是随着网络层的不断叠加，网络所提取的特征主要是对纹理特征和边缘梯度特征的高度抽象化，同时弱化了图像的其他特征。卷积神经网络相对于普通神经网络具有局部感知域、共享权重和池化等特点，卷积神经网络可以在不经过前期人工复杂处理的情况下，提取出待检测图像的多样非线性特征，是针对图像分类和识别特别设计的一种深度学习方法。如图所示的基于纹理特征分类网络结构包含了输入层、卷积层、池化层与全连接层。其中输入层接收分辨率为 的图像，通过叠加卷积核大小为、的卷积层和的最大池化层，提取图像的特征矩阵，使用 激活函数对特征矩阵进行非线性化，并在卷积和池化处理时进行 处理和 处
11、理从而避免过拟合，最后使用全连接层和 函数进行分类。（）形状从特征分类网络形状特征是图像的一个重要特征，对于形状特征差别大的图像具有决定性作用，对于形状特征差别小的图像具有辅助作用。利用经过分割后的掩膜图像，提取缺陷区域的周长、椭圆度、矩形度、面积和离散度等特征，处理为对缺陷特征高度概括的形状特征参数。反向传播神经网络（，）是前馈神经网络中最为成熟且应用最广的网络，可以有效地实现任何复杂非线性映射的功能。因此，利用 神经网络可以对铝型材缺陷的形状特征参数进行有效分类。通过引入缺陷图像特征自动提取模块，克服了传统神经网络在图像分类过程中不能自动提取图像特征的缺点。形状特征分类网络如图所示，其结构
12、包含图像特征提取层、输入层、隐藏层和输出层。其中输入层接受维度为的向量，采用神经元个数为和的两个隐藏层，使用 激活函数进行非线性化处理，经隐藏层处理后，经过 函数分类并输出。（）主从特征融合分类层由于铝型材表面缺陷与背景信息有着较高的相似度，在使用基于缺陷纹理特征分类时会造成较高的分类误差。当不同类别缺陷的形状差异较大时，将缺陷的形状特征作为主要特征；当缺陷的形状特征相似时，便将缺陷的纹理特征作为主要特征；当形状特征与纹理特征的分类结果一致时，即将该结果认定为最终结果。这些条件处于过渡状态中，彼此之间有联系，分界线不清晰，因此很难使用精确的尺度进行划分。针对以上两种形式之间的差异性的存在，通过
13、构建适应于本次实验的模糊规则的模糊神经网络，进行类别的模糊分类。一个完整的模糊神经网络包含输入层、模糊化层、规则适用度计算层、适用度归一化层、模糊规则输出层和输出层，其具体结构如图所示。将纹理特征与形状特征的预分类结果作为模糊神经网络的训练集，表示为集合，与，并且，将集合，作为输入量，为模型的输出值。针对类缺陷分类实验，系统模型的模糊规则构建如下：（）模糊化层也称为隶属函数层，主要通过隶属函数，将精确的输入数据分量与转化为模糊集，如式（）所示：计算机集成制造系统第 卷 （），。（）式中：，为每一节点的输入；为模糊集；为模糊神经网络的隶属度函数；为 的隶属函数值，范围在，之间，表征了，属于 的程
14、度。为了减小计算过程中的计算量与未知参数的个数，隶属函数采用高斯函数，如式（）所示。（）（），。（）式中与分别表示规则所对应的第个特征的均值与方差。（）规则适用度计算层其中每一个节点由一条模糊规则构成，用来匹配每一条模糊规则，计算方法是将模糊层的输出作为节点输入，并进行乘积操作，求出每条规则的适用度，其计算过程如式（）所示，式中作为每一条规则的适用度，并作为适用度归一化层的输入。（）（）（）（）（）（），；，；，。（）（）适用度归一化层计算某一节点的规则适用度与所有节点适用度之和的比值，从而进行归一化处理，其计算过程如式（）所示，式中是节点的适用度归一化值。，。（）（）模糊规则输出层计算每一条
15、模糊规则的输出，其计算过程如式（）所示，经过计算后已经是每个类别的隶属度值。，。（）（）总输出层将所有传递过来的信号进行汇总处理，取样本数据最大时所对应的数值作为类别分类器对应的样本预测值，完成最终分类，如式（）所示，式中是一个的向量，表示了个类别的隶属度值，经计算，将的隶属度值向量转化为对应的类别，即。（）。（）通过上述步骤可将形状特征、纹理特征与梯度信息结合，作为图像分类的依据，避免了单一卷积神经网络在添加硬注意力机制时，造成的损失函数和注意力机制在结合过程中不可导，使其在反向传播算法训练时无法使用，同时也避免了在使用软注意力机制时忽略通道局部信息，以及使用掩膜权重之后由于信息减少破坏网络
16、深层特征信息的问题。实验对比分析 数据准备为了验证基于主从特征融合的铝型材缺陷检测模型对铝型材表面缺陷检测的效果，采用阿里天池比赛的铝型材数据集，并结合铝型材在生产过程中常见的缺陷类别进行实验验证，原始样本种类及数量分布如表所示，样本的大小为 。表原始样本数量分布种类擦花漏底凸粉脏点碰伤数量张 数据预处理由于原始图像样本具有数据量不足与图像形状参数信息没有被提取出的缺点，需要对样本进行数据增强处理和图像形状参数提取，图像样本预处理的主要步骤如下：（）数据增强因为每一类样本数量缺乏，不能满足模型训练的数量，所以在模型训练之前需要对图像样本进行数据增强处理，通过旋转、裁剪、仿射变化、引入噪声、改变色彩饱和度等方法，将每一类样本扩充至 张。（）缺陷区域标注利用 软件对图像样本的缺陷区域进行标注，用于图像分割，以减小图像背景对缺陷区域的影响。（）形状特征参数提取利用原图像和 模型 分 割 的 图 像 进 行 掩 膜 提 取，通 过 构建缺陷形状特征提取模块，并将此模块嵌入神经网络中，使神经网络可以自动提取缺陷的形状特征，原始图、语义分割图与掩模图如图所示。第期刘孝保 等：主从特征融合驱动的铝型
