1、第 卷 第期中 国 机 械 工 程 年月 一种残差注意力迁移学习方法及其在滚动轴承故障诊断中的应用赵靖，杨绍普李强刘永强，北京交通大学机械与电子控制工程学院，北京，石家庄铁道大学省部共建交通工程结构力学行为与系统安全国家重点实验室，石家庄，石家庄铁道大学机械工程学院，石家庄，摘要：提出了一种基于残差注意力卷积神经网络（）的迁移学习算法，用于提高滚动轴承的故障诊断精度。在卷积神经网络模型中加入残差注意力机制，使模型在训练过程中更加注重故障特征的提取，从而有效提高迁移准确率。为了测评基于残差注意力卷积神经网络的性能，将其与传统卷积神经网络在不同迁移学习策略下的结果进行对比。用动力传动故障诊断综合实
2、验台和高速列车综合实验台对所提算法进行了验证，该方法可以完成变转速以及变转速变载荷下轴承不同健康状态的迁移学习，且迁移效果均优于传统的卷积神经网络。关键词：迁移学习；轴承故障诊断；残差注意力；特征提取中图分类号：开放科学（资源服务）标识码（）：，：（），：；收稿日期：基金项目：国家自然科学基金（，）；河北省科技计划（）；河北省自然科学基金（）引言随着互联网的发展，机械故障诊断领域进入了“大数据”时代。近年来，数据驱动算法得到了快速发展，智能故障诊断方法吸引了越来越多学者的关注。智能故障诊断算法通过分析被测信号，自动学习故障特征，进而对机器的运行状态进行判别，旨在建立端到端的诊断模型。智能故障诊
3、断算法的发展大致分为以下个阶段：传统的机器学习方法、深度学习方法和迁移学习方法。传统的机器学习方法主要有人工神经网络（，）、支持向量机（，）以及最近邻分类算法（，）。传统的机器学习方法虽然可以对机械系统的状态进行识别，但是其网络结构往往比较浅，泛化性能比较差，不适用于处理大批量的数据。深度学习算法的发展弥补了传统机器学习算法的不足。等利 用 卷 积 神 经 网 络（，）和极限学习机解决了齿轮和轴承的故障分类问题。等建立了卷积神经网络模型，将不同的二维灰度图作为模型的输入完成了不同工况下轴承的故障分类，并对模型的训练过程与结果进行了可视化分析。等利用自适应深度置信网络（，）诊断模型完成轴承故障分
4、类任务。赵志宏等提出一种非对称自编码器方法，完成了旋转机械关键部件的频域特征提取与智能诊断。深度学习方法在提取特征方面展示了独特的优势，尤其是卷积神经网络，因其可以从复杂的二维图中提取特征而受到众多学者的关注。由于机械设备大多在正常状态下工作，故采集到的信号往往都是正常的，并且获得机器不同运行状态的振动数据往往需要耗费大量人力物力。深度学习方法虽然能从信号中提取特征，但是训练好模型往往需要大量不同健康状态的带标签数据，这在工程实际中不太现实。随着智能诊断算法的发展，为了满足工程实际的需求，迁移学习方法吸引了一些学者的研究。迁移学习方法是将一个或多个任务中学习到的知识应用到与之相关但不同的新任务
5、中 的方法。等 提出了一种深度域适应网络架构，采用最优多核选择方法进行均值嵌入匹配，进一步减小了域差异。等 提出一种无监督域自适应方法，采用非线性变换将源域与目标域分布的二阶统计量对齐。等 提出联合自适应网络，通过减小激活层输入特征和输出标签联合分布的差异来缩小源域与目标域的差异。等 将域对抗引入迁移学习中，完成了源域向目标域的迁移学习。除此之外，等 采取一种微调的迁移学习策略完成了不同试验台的迁移任务。等 提出一种最优集成深度迁移网络并应用于轴承的故障诊断。揭震国等 提出一种子域适配的深度迁移方法，通过自适应匹配不同域之间的特征解决了机械设备在变工况故障诊断时的域偏移问题。等 将对抗学习作为
6、一种正则化方法引入卷积神经网络中，提出了一种新的深度对抗卷积神经网络。上面介绍的迁移学习方法可以分为以下三类：基于域自适应的迁移学习方法。通过减小源域与目标域的差异完成不同工况的迁移，这类方法统称为域自适应方法，文献 ，可归为此类。基于对抗的迁移学习方法。部分学者致力于研究对抗学习的迁移策略，文献，属于这一类。基于预训练的迁移学习方法。即从源域与目标域中找到共享的参数信息来完成迁移学习，文献 属于预训练迁移学习。随着迁移学习诊断精度的提高，模型的结构变得越来越复杂，模型的训练时间变得也越来越长。但是，工程中往往更需要高精度高效率的模型，为了满足工程应用，亟需一种准确率高且计算时间短的迁移学习模
7、型。特征提取在模型学习过程中发挥着不可或缺的作用，有效的特征提取能达到事半功倍的效果。本文提出一种基于残差注意力卷积神经网络的迁移学习故障诊断算法。为了捕捉不同健康状态的特征，在卷积神经网络模型的最后加入残差注意力。为了测评本文方法的性能，将基于残差注意力卷积神经网络与传统的卷积神经网络的在不同迁移学习策略下的结果进行对比。为了进一步探究不同故障特征在模型训练过程中的变化情况，在对不同域的分类结果做了进一步的可视化分析的同时，进一步分析了某一具体样本在模型训练过程中的特征分布情况。迁移学习问题描述迁移学习中，被迁移的领域称为源域（），待 学 习 的 领 域 称 为 目 标 域（）。源域和目标域
8、组成了迁移学习中两个重要的域。源域中的数据（），（），表示源域中样本的个数。（）为样本（）对应的标签，（），表 示所 有 源域 样 本 中 有种 状态。源域中的样本来自样本空间，标签来自空间，即（），（），源域中的数据服从分布（，）。目标域中的数据（），（），表示目标域中样本的个数。（）为样本（）的标签，（），表示所有目标域样本中有种状态。目标域中的样本来自样本空间，标签来自空间，即（），（），目标域中的数据服从分布（，）。迁移学习的工作过程描述如下：利用实验室中机械设备故障模拟实验获得的数据训练一个可靠的迁移学习模型，再用训练好的模型去判断工程实际中机械设备的工作状态。迁移学习在具体的应用中
9、，源域的数据通常都是在实验室获得的带标签的机械设备故障数据，而目标域通常都是不带标签的数据，因为工程实际中机械设备的工作状态具有很大的不确定性，所以目前迁移学习一种残差注意力迁移学习方法及其在滚动轴承故障诊断中的应用 赵靖杨绍普李强等研究主要针对不同实验台或同一实验台不同工况之间的迁移。结合迁移学习相关概念及相关术语，迁移学习的目标有以下种情景：特征空间不同，即；类别空间不同，即；特征空间和类别空间均相同、概率分布不同，即（，）（，），本文研究内容主要针对情景。源域与目标域的特征空间相同，类别空间相同，概率分布不同，源域中是带标签的样本，目标域中是不带标签的样本。迁移学习诊断模型.卷积神经网络
10、卷积神经网络一般由卷积层、池化层及全连接层组成。卷积神经网络具有局部连接和权重共享特性，是一种深层前馈神经网络。卷积层是卷积神经网络的重要组成部分，由一系列卷积核组成，卷积运算是在输入信号与卷积核之间进行的。对于每一个输入和卷积核，卷积运算之后输出特征如下：，（）（）其中，是卷积之后输出的特征；是偏置；是卷积核；表示卷积操作；（）是激活函数，常用的激活函数有 （）函数、（）函数、（）函 数 和 （）（）函数等。（）函数具有以下优点：采用 的神经元只需要进行加、乘和比较操作，计算上更加高效。在优化方面，在一定程度上缓解了神经网络的梯度消失问题，加速梯度下降的收敛速度，且 （）函数具有很好的稀疏性
11、。（）函数常用于分类问题的输出层。因此，本文选取 （）函数作 为隐藏层 激 活 函 数，（）函数作为输出层的激活函数。卷积运算之后是池化运算，池化运算降低了特征维数，减少了计算时间。常用的池化运算有最大池化和平均池化运算。最大池化运算，选取特征区域的最大值：，（）式中，为池化区域；为卷积层输出的激活值；为最大池化结果。平均池化运算，计算特征区域所有值的平均值：，（）卷积神经网络最后是全连接层，在全连接层中，需要将经过卷积层运算与池化运算之后的特征进 行 展 平。模 型 在 经 全 连 接 层 之 后，经 过 （）激活函数之后即可得到模型学习结果。模型在训练过程中会产生较多的参数，为了防止过拟合
12、，在搭建卷积神经网络的过程中，常常还会加入 （）运算和批量归一化（，）。.残差注意力 等 提出了残差注意力（，）并将其应用于多标签识别中。受其启发，本文将 应用于轴承的故障特征识别中，输入特征的注意力分数为（）（）（）（）式中，（）为冲击出现在位置的概率；为特征区域特征的数量；为分类器。注意力分数确定之后，的特征为（）（）（）输出特征为（）（）（）式中，为输入特征的均值；（）为残差注意力网络的输出结果。特征残差注意力既考虑了整体，又考虑了局部，可以充分利用模型训练过程中不同特征的分布。为了提取故障特征，本文将残差注意力网络与卷积神经网络结合起来，将残差注意力网络应用于卷积神经网络最后，基于残差
13、注意力的卷积神经网络结构见表。表基于残差注意力的卷积神经网络结构 卷积核大小 个数输出大小输入输入 ，输出输出注：表示 ；表示 ；表示 ；表示故障种类基于残差注意力的卷积神经网络模型测评为了测评所建模型的特征提取能力，本文将其与传统的卷积神经网络模型进行对比，进一步测评本文模型在故障特征提取方面的优越性。需要说明的是，为了公平起见，本文所用的传统卷积中国机械工程 第 卷 第期 年月上半月神经网络模型与本文方法的 相同，最后一层是全连接层，而本文方法的最后一层是残差注意力网络。本文采用种常用的迁移学习方法测评不同模型 的 迁 移 策 略：（）、（）、（）和 （）。将本文方法与传统卷积神经网络分别
14、在这种不同的迁移模型上进行测试，对比不同模型诊断结果。本文方法主要由部分组成：数据处理、特征提取与迁移结果可视化，具体内容如图所示。图基于 的故障诊断方法示意图 迁移学习模型诊断流程本文方法的流程图见图，具体步骤如下：（）获取机械设备不同工况下的监测数据，构建源域与目标域，其中源域数据是带标签的，目标域数据是不带标签的。（）划分训练数据和测试数据，构建以残差注意力卷积神经网络为基础的迁移学习模型。（）用训练集数据训练所建模型，通过文献图本文方法流程图 方法对模型参数及特征进行训练与提取，优化特征以达到较好的迁移效果。将本文方法与传统卷积神经网络分别在这四种不同的迁移模型上进行测试，对比不同模型
15、诊断结果。（）重复步骤（），直到给定的迭代次数，得到训练好的模型。（）用目标域数据测试训练好的模型，得到诊断结果，并对模型的训练过程及结果进行可视化分析。实验验证实验一：动力传动故障诊断综合实验数据介绍为评估本文方法的性能，采用动力传动故障诊断综合实验台对本文方法进行验证。实验台的结构如图所示，主要由电机、齿轮箱、测试轴承以及电磁制动器等组成。本实验测试轴承共设置四种不同状态：正常轴承、外圈故障轴承、内圈故障轴承与滚子故障轴承。采样频率为 ，采样时长为。为了更贴近工程实际，本实验转速设置为变转速，共设置三种不同的转速：一种残差注意力迁移学习方法及其在滚动轴承故障诊断中的应用 赵靖杨绍普李强等
16、、和 ，将这三种不同转速下测得的振动数据分别记为数据集、和。以转速 为例，它 表 示 转 速 由升 到 ，再 由 降到，该工况下的转速是先升再降的一个过程，转速 和 同理。每种健康状态随机采用 个样本，所以每种工况有 个样本。在这些样本中，的样本用于训练所建模型，剩下的样本用于测试模型，具体细节见表。图动力传动故障诊断综合实验台 表测试轴承工况 转速（）健康状态样本数数据集 注：分别表示外圈故障、内圈故障、滚子故障轴承与正常轴承迁移任务设置本实验所用数据通过下式进行标准化预处理：（）（）（）（）（）式中，（）、（）分别为原始数据的均值与标准差。因卷积神经网络在图像识别、语音识别、目标跟踪等方面得到了广泛的应用，受文献 启发，本文将一维振动转化成二维灰度图作为模型的输入。将每个样本的一维长度选为 ，转化为 的二维灰度图。本实验共有种数据集、和，以此为基础，设置以下种迁移任务：、和，迁移任务设置见表。以 为例，表示源域数据集，表示目标域数据集。随机选取 的数据用于模型训练，剩下的数据用于测试模型。将本文方法与传统卷积神经网络分别在这种不同的迁移模型上进行测试，对比不同模型诊断结果。表迁移任
