1、第 卷 第 期 年 月西安科技大学学报 .姜军强，张旭辉，徐奎奎，等 基于 的 高温合金组织缺陷检测 西安科技大学学报，（）：，（）：收稿日期：基金项目：国家自然科学基金项目（）；国家绿色制造系统集成项目（工信部节函 号）；河北省重点研发计划项目（）第一作者：姜军强，男，河北邯郸人，博士研究生，：通信作者：张旭辉，男，陕西凤翔人，教授，博士生导师，：基于 的 高温合金组织缺陷检测姜军强，张旭辉，徐奎奎，董 明，马宏伟（西安科技大学 机械工程学院，陕西 西安；河北经贸大学 信息技术学院，河北 石家庄）摘 要：针对传统分割算法对于金属组织缺陷分割不连续，易被伪缺陷干扰的问题，提出一种结合迁移学习和
2、通道注意力的 网络结构，实现 高温合金组织缺陷图像分割与检测。首先，使用迁移学习将在 预训练好的参数迁移到 网络中，然后引用 网络思想将每一个有效特征层提取的图像信息都密集连接到下一个有效特征层中，并结合通道注意力模块组成加强跳跃连接模块，使 获得更准确的分割结果；最后，采用混合损失函数替代单一损失函数解决 高温合金缺陷数据集正负样本不均衡的问题。与现行优秀算法、缺陷分割效果对比发现 相较其他方法最佳指标值组合依然有 ，的提升。结果表明：采用改进 分割缺陷的 个指标数据，分别为 ，相较于原始 网络 个指标分别提升了.，。关键词：缺陷分割；通道注意力模块；迁移学习；加强跳跃连接模块；损失函数中图
3、分类号：文献标志码：文章编号：（）：开放科学（资源服务）标识码（）：，（，；，）：，：；引 言镍基高温合金 是一种典型沉淀硬化合金，力学性能类似 。因其在高温下具有良好的强度、韧性和耐腐蚀性，广泛用于制作航空工业和核电设备零部件。一般来说，航空类关键零部件通过锻造工艺制备。锻造过程复杂，坯料温度不当、模具设计和结构不正确或工艺参数不合适等原因会在锻件内部遗留组织缺陷，造成应力集中影响零部件功能和质量。因此，金属内部组织缺陷检测成为众多学者的研究热点之一。为研究金属内部组织缺陷分布规律和成因，研究人员需要长时间在扫描电镜下观察缺陷的分布和形貌，这不仅浪费了大量的时间和精力，而且很容易由于视觉疲劳
4、出现错检和漏检情况。因此，开发缺陷自动分割系统，可以帮助研究人员精准的定位缺陷位置，并且将缺陷从背景及伪缺陷中分割出来，提高研究效率。传统的机器视觉检测方法主要是通过手工设计提取特征网络，然后使用分类算法进行分类，如卢印举等构造了高斯混合的玻璃缺陷分割模型，应用灰度共生矩阵提取玻璃表面纹理特征，构建纹理和灰度的双特征，完成玻璃表面缺陷分割。随着计算机算力的提高，深度学习技术得到了迅速的发展，卷积神经网络（，）被证明在特征提取方面有着非常强大的能力，近些年不断的被应用到不同领域的缺陷检测及分割任务中。等针对金属焊接缺陷图像的特性，提出了一种混合注意力机制的三重 缺陷分割网络，通过层间互补特性提高
5、缺陷识别性能，有效地检测出不同缺陷形态，成功地提高了金属表面缺陷图像分割精度。，等基于 架构，提出一种 新型语义分割网络，通过在原始 跳跃连接之间添加一个名为特征重用和注意机制的新模块，针对缺陷图像进行测试，成功地分割了下水管道表面缺陷。李鑫灿基于 网络架构，深入分析了 网络存在的问题，通过过度特征与密集连接改进了 模型得到 用于钢材表面缺陷精细分割。相比较于深度学习方法，传统的分割算法鲁棒性较差，容易被图像中的噪声和伪缺陷干扰。因此，文中提出将 网络应用于 高温合金表面组织缺陷分割，为解决 网络缺陷边缘欠分割与边缘分割不连续问题，对 网络结构基础进行优化，提出一种（）网络，实现缺陷像素级检测
6、。缺陷像素级检测流程如图 所示。图 缺陷像素级检测流程 算法描述文中设计的 网络包括 部分：第 部分引进迁移学习 作为编码网络实现 西 安科技大学学报 年第 卷第 期姜军强，等：基于 的 高温合金组织缺陷检测权重迁移；第 部分采用 网络的思想重新设计跳跃连接模块，经过 注意力机制模块提高有效特征权重后形成加强跳跃连接模块；第 部分利用反卷积进行双倍上采样，渐进复原图像的尺寸并进行预测。网络结构 是一种非常优秀的语义分割网络，适用于金属缺陷分割与医学图像分割等场景，它可以使用相对少的数据获得良好分割结果。类似于 网络，采用编解码网络，包括主干特征提取网络、加强特征提取网络和预测部分 个模块。主干
7、特征提取网络进行连续下采样，是 卷积层和 最大池化层的堆叠，此过程能够获得 个初步有效特征层。随后采用加强特征提取网络对 个初步有效特征层进行上采样处理和特征融合，结果得到一个包含所有特征的有效特征层。预测部分应用加强特征提取网络所得的有效特征层对所有像素点完成分类，进行分割。的网络模型如图 所示。图 网络结构 与背景像素值相近的缺陷在进行多次下采样后会逐步消失，因此在应用网络结构对缺陷进行分割时会将此类缺陷像素点归类为背景像素，进而引起在缺陷边缘处出现分割不连续和欠分割现象。针对此类情形，文中在 的基础上，重新搭建跳跃连接模块，引入迁移学习 网络及 注意力机制模块，提出了 模型，网络结构如图
8、 所示。图 中的为 特征提取网络。原始 编码结构和 系列相近，所以文中以 作为 特征提取部分，并且剔除 最后 个池化层和 个全连接层。这样做的优点在于获取到更丰富的语义信息，并且提升网络的泛化能力。图 中的是改进后的跳跃连接模块。原始 网络跳跃连接模块功能单一，无法多尺度的提取图像中信息。因此文中在 网络中增加加强跳跃连接模块，将每层有效特征层输出的特征信息都堆叠到下一层，实现与上一层的密集连接，而后通过有效通道注意力 模块实现特征信息加权，以减少目标信息的丢失程度。图 中的为 的上采样模块，与 网络的上采样部分构建过程类似，不过在结构上有少许改动，在执行跳跃连接时会发生 操作使得相连的特征图
9、尺寸大小保持一致，但 在构建过程中并不执行 操作，而是在上采样过程中执行 倍上采样，这样做的目的在于提升网络的通用性。另外，在 网络分割缺陷时，采用混合损失函数缓解前景面积占比小、正负类像素分布不均引起的网络不收敛问题。图 网络结构 迁移学习网络 采用大量高质量标注数据训练深度神经网络的参数，通常会得到表现比较好的深度学习任务，不过实际图像处理中，获取海量相关数据同时高质量标注的任务十分艰巨，所以迁移学习算法成为众多研究员研究热点之一。在缺乏足够多样本情形时，从其他已经训练好的通用特征网络迁移到所用图像处理上，提升网络的通用性，获取好的训练结果。文献表明迁移学习是深度学习的驱动力，它不但能够提
10、高网络训练效率，还能提高网络识别能力，由此也说明将迁移学习引入到深度学习任务中具有合理性。网络与 中的下采样网络原理类似，因此文中采用 作为 网络模型的下采样部分，网络中 结构如图 所示，采用（，）的图片输入为例。图 网络中编码结构 加强跳跃连接模块因原始 结构中跳跃连接模块形式单一，文中受 密集连接方法启发，在 中加入加强跳跃连接网络。采用图 中第 个卷积块输入特征图为例，它是源自同尺度第 个卷积块的输出，并对第、和 个卷积块执行变尺度下采样，确保不同卷积块的输出特征图尺寸大小一致，之后再执行堆叠，最后利用 注意力机制模块对融合后特征图进行权重优化得到第 个卷积块的输入特征图。注意力机制提高
11、神经网络精度的以往经验主要是增加神经网络的深度或者宽度，不过这样会导致网络参数大幅增加，训练时间显著增长，并且一旦神经网络层数到达一定数值后，网络出现退化现象，纵使残差结构也只是在一定程度上缓解梯度弥散，无法根本解决这一弊端。此种情形下，注意力机制就成为了众多学者解决此类问题的方法之一。在计算机视觉任务处理中，广泛采用注意力机制增强感兴趣目标特征，抑制冗余特征，在小幅增加参数的条件下提升神经网络的性能。作为一种超轻量级注意力模块，在不增加模型复杂程度的前提下，使模型的性能得到显著提升。和 一样，也在通道层面输出特征权重，不过 相较于 进行了 个方面的扩展：规避了 个 层之间的特征维度衰减；采用
12、一维卷积完成各通道间的局部交互。结构如图 所示。图 模块结构 利用卷积核大小 自适应调整交互率，以便通道数较大的层可以执行更多的交互。与通道数 的计算见式（）。（）（）（）式中 ，。计算流程见表。表 生成注意权重过程 算法：生成权重向量：维度 的张量：的通道权重向量 定义 （）（，）（，）设置自适应卷积核 的大小 对输入的张量 进行全局平均池化得到向量 （）对得到的向量 进行 的卷积获取交互后的向量 （，（），）将生成的注意力权重加权到输入的张量 上 （）混合损失函数文中采用的损失函数包含 部分：二元交叉熵（，）损失函数；相似系数（，）损失函数。作为语义分割任务中应用最为广泛的损失函数之一，计
13、算见式（）。（）（）（）（）式中 为像素点 的真实标签；为模型对像素 西 安科技大学学报 年第 卷第 期姜军强，等：基于 的 高温合金组织缺陷检测点 的预测。损失函数针对每个像素点计算模型分类损失，对于正样本像素点来说，输出越大，损失越小，而对负样本像素点呈现相反趋势。损失函数有助于缓解梯度网络回传消失问题，不过在使用 损失函数处理不平衡的正负样本数据时，会导致像素点较大的类掩盖像素点较少的类。文中所使用的 高温合金表面缺陷多数属于小缺陷，正负样本分布极其不均衡，单一采用 损失函数会降低网络学习缺陷特征的有效性。损失函数是将语义分割的评价指标 系数作为损失，系数作为一种集合相似度度量函数，常用
14、于计算 个样本的相似度，计算见式（）。（）式中 为真实标签；为预测值；为 个样本的相似度，值越大表明预测结果和真实结果越相似。如果要把 系数当做损失函数的话则是值越小越好，计算见式（）。（）损失函数注重非常小的感兴趣区域，可以抑制正负样本不均衡的影响，不过 损失函数的缺点是容易陷入局部最优解，使得训练过程难以收敛。针对 种损失函数的优缺点，文中在 将 种损失函数融合一起，提出一种混合损失函数，计算见式（）。（）评价指标为了客观评价网络模型的分割效果，采用语义分割任务中广泛应用的 、交并比（，）和 像 素 准 确 率（，）作为评价指标。是综合（精确率）和（召回率）的指标，表示模型分割缺陷的准确率
15、。计算公式如下。（）（）（）是缺陷真实标签和预测值的交并比，用于评价模型的分割性能。计算见式（）。（）为分割出缺陷类像素占所有缺陷类像素的比值。实际语义分割任务中，已分割出的目标像素面积与真实目标像素面积之比可以直观映射模型对于细节的分割效果。计算见式（）。（）在公式（）（）中，为标签为缺陷区域，且预测也为缺陷区域的像素点；为标签为背景区域，而预测为缺陷区域的像素点；为标签为缺陷区域而预测结果为背景区域的像素点；为标签背景区域且预测结果也为背景区域的像素点。文中通过上述指标对比不同模型对于缺陷的分割效果，上述指标越大分割效果越好。试验结果及分析 试验数据集和实验条件设置 数据集介绍文中试验所用
16、金属为采用真空感应气氛保护真空自耗“三联冶炼技术”及锻造工艺生产的大棒材 高温合金。从 合金锻件上截取样品长条，经线切割、热镶、磨样、抛光后，使用配比为 盐酸 无水乙醇 五水合硫酸铜的腐蚀溶液进行化学腐蚀，再采用日本产尼康 金相显微镜进行图像数据采集，共获取 张图片。图片分辨率为 ，使用 软件对图像中的缺陷进行标注，数据标注格式为 格式。数据集中的部分图像如图 所示，图（）（）（）中为试样不同区域微观缺陷形貌，图（）（）（）中白色是背景像素，黑色表示标注后的缺陷形貌。图 数据集中部分图像 数据增强策略为增强数据多样性，减小网络过拟合概率，文中对已标注的 张图片及其掩膜采取在线增强措施，具体操作步骤为：随机对图片进行左右翻转；随机对图片进行上下翻转；将图片以（.，）的比率随机缩减；对图片 色域中的 个通道进行随机扭曲。上述 种措施每次随机选取 种实施实时数据增强操作。实验条件设置实验 环 境 配 置：联 想 工 作 站，采 用（显存）训练加速，采用 架构，使用 优化器进行迭代优化，设定初始学习率 ，采用动态学习率衰减策略，设。将 张有标注的存在缺陷的图片数据集按照 的比例划分成训练集和测
