1、http:/DOI:10.13700/j.bh.1001-5965.2021.0247基于 Transformer 模型的滚动轴承剩余使用寿命预测方法周哲韬1，刘路1，宋晓2，*，陈凯3(1.北京航空航天大学自动化科学与电气工程学院，北京100191；2.北京航空航天大学网络空间安全学院，北京100191；3.南京航空航天大学机电学院，南京210016)摘要：准确的滚动轴承剩余使用寿命(RUL)预测对保证机械安全运行和减小维修损失起着至关重要的作用。为提高滚动轴承 RUL 预测准确率，提出一种基于 Transformer 模型的轴承 RUL预测方法，充分利用其自注意力机制与编码器-解码器结构的
2、优势，解决轴承 RUL 预测中序列过长而导致的记忆力退化问题，挖掘出输入特征与轴承 RUL 之间复杂映射关系。同时，采用三角函数变换与累积变换来修正输入特征的单调性与趋势性，使其能更好地表征滚动轴承的退化过程。在PHM2012 数据集上的实验结果表明：所提方法相比于对比方法平均绝对误差分别降低了 9.25%、28.63%、34.14%，平均得分分别提高了 2.78%、19.79%、29.38%；在 XJTU-SY 数据集上的实验结果表明，所提方法相比于对比方法均方根误差降低了 17.4%，平均得分提高了 18.6%，进一步证明了其可行性与优越性。关键词：滚动轴承；剩余使用寿命预测；Transf
3、ormer 模型；自注意力机制；累积变换中图分类号：V229+.2；TH133.33；TP183文献标志码：A文章编号：1005-5965（2023）02-0430-14滚动轴承被称为“工业的关节”，是旋转机械设备的关键零件，广泛应用于各个工业领域1。如在航空航天领域，轴承是航空发动机承力传动系统2及航天器控制力矩陀螺3等设备的重要组成部分，其性能与质量直接影响了航空航天设备的安全性与可靠性。轴承若发生故障，轻则将导致设备故障、经济损失，重则将引发安全事故、人员伤亡。因此，准确、及时地预测轴承的剩余使用寿命（remainingusefullife，RUL）对工业生产安全而言具有重大研究意义。随
4、着传感器、存储、网络传输等新技术的快速发展，轴承运行过程产生了大量的监测数据，利用这些数据来挖掘轴承退化信息，实现精确的 RUL预测，是当前的研究热点4。基于数据驱动的轴承剩余使用寿命预测主要有 2 个步骤5：从原始信号中提取具有趋势性的特征，来表征轴承性能退化的过程；构建预测模型，使用传统机器学习或深度学习的方法，利用其拟合能力建立特征与剩余寿命间的关系。特征提取是进行轴承 RUL 预测的前提，目的是提取出符合轴承退化趋势的特征用于表征退化过程。传统的特征提取方法是计算原始振动信号的统计特征，如均方根、峭度、峰峰值等，以及构造一些新的统计特征，如王冰等6采用的基于多尺度形态分解谱熵，李洪儒等
5、7采用的二元多尺度熵。近年来，深度学习凭借其卓越的非线性函数自动映收稿日期：2021-05-10；录用日期：2021-07-04；网络出版时间：2021-07-1215：55网络出版地址： Z T，LIU L，SONG X，et al.Remaining useful life prediction method of rolling bearing based on Transformer modelJ.Journal ofBeijing University of Aeronautics and Astronautics，2023，49（2）：430-443（in Chinese）.202
6、3年2月北京航空航天大学学报February2023第49卷第2期JournalofBeijingUniversityofAeronauticsandAstronauticsVol.49No.2射能力在滚动轴承特征提取领域得到广泛应用。如 Ren 等8提出使用时间卷积网络从更大的振动信号感受野中提取特征；杨宇等9提出一种改进的深度信念网络，直接以滚动轴承原始振动信号作为网络输入，经过逐层抽象表示，挖掘出原始振动信号深层本质特征。但是文献 6-9 中时间卷积网络、深度信念网络等深度学习方法往往需要大量标签数据进行有监督微调，标签数据的缺乏与难以获取严重制约了深度学习特征提取，而传统统计特征在单调
7、性与趋势性上相比于轴承退化趋势往往不尽人意。针对这些问题，鉴于轴承退化是一个累积退化过程，本文对传统特征采用累积变换的方式优化其单调性与趋势性，使其在表征轴承退化过程中有更好的表现。在对原始振动信号进行特征提取的基础上，需要构建预测模型来对轴承 RUL 进行预测。轴承 RUL预测本质上是时间序列预测问题，而循环神经网络（recurrentneuralnetwork，RNN）在时间序列处理方面具有明显的优越性，从而被广泛应用于轴承 RUL预测领域。Guo 等10采用 RNN 提取表征轴承退化的特征量进行轴承剩余寿命预测，并用指数模型验证预测效果，取得了很高的预测精度。Chen 等11提取频谱的
8、5 个带通能量值作为特征，提出了一种具有注意力机制的编解码框架的 RNN 用于轴承寿命预测。康守强等12利用稀疏自动编码器进行特征提取，采用双向长短期记忆神经网络进行轴承剩余寿命预测。在处理时间序列时，RNN 下一时刻的输出取决于先前时刻的输出及当前时刻的状态，这在本质上是一种串行的运行方式，会严重制约模型运行速度13。同时，RNN 的每一次递归都伴随着信息的损耗，导致其在输入长序列的条件下捕捉依赖关系的能力迅速衰减，即出现记忆力退化现象。针对以上问题，本文将采用基于 Transformer 的预测模型来进行轴承 RUL 预测。Transformer 模型的核心原理是自注意力机制(self-a
9、ttention)，其在具体实现上主要以矩阵乘法为基础，从而可以捕捉输入序列中任意向量之间的依赖关系，不受向量之间距离的影响。同时 self-attention 的这种运行原理实现了并行计算，相比于只能串行计算的 RNN 极大地提升了运行速度14。基于以上特性，Transformer 一经提出就引起了研究者的广泛关注，在机器翻译、阅读理解、文本摘要等多个领域展现出了优异的应用效果。本文将 Transformer 模型引入到滚动轴承 RUL预测领域，提出一种基于 Transformer 模型的滚动轴承剩余使用寿命预测方法，属于 Transformer 模型的全新应用，为其在工业领域增加了新的应用
10、场景。1累积特征提取滚动轴承常用的状态监测数据包括振动、声波和温度信号，其中振动信号得到了广泛分析，因为其提供了大量关于轴承内部异常的信息。但是滚动轴承的振动信号在采集时不可避免地会混入大量无意义的噪声信号，这对轴承 RUL 的准确预测是不利的。因此，本文采用离散小波变换对振动信号进行去噪，通过小波分解、细节分量阈值处理和小波重构来剔除无意义的噪声，将去噪后的振动信号进行特征提取。本文对去噪后的振动信号进行三角函数变换与统计特征提取。三角函数可以是单调递增或单调递减的，如反双曲正弦(asinh)和反正切(atan)函数，其能将原始数据转换为更低的尺度，所以将其作为振动信号的退化特征进行补充。三
11、角函数变换按以下方式执行：用三角函数逐因素操作单次采样振动信号 X，并进行标准差计算以提取特征。同时，选取一些滚动轴承 RUL 预测常用的统计特征作为退化特征，具体信息如表 1 所示。其中：xi为单次采样振动信号 X 中的第 i 次采样值。在现实生产环境中，滚动轴承会不可避免地经历退化过程直至故障，而能够反映轴承退化趋势的特征将有助于轴承 RUL 的准确预测。尽管表 1 所示的特征是基于专家知识提取的，并且在一些应用中被证明是有效的，但是传统的统计特征的单调性与趋势性相比于轴承退化趋势往往不尽如人意，不能很好地表征退化趋势。针对这个问题，鉴于轴承退化是一个累积退化过程，本文采用了一种有效的特征
12、变换方法，即将提取的特征变换为相应的累积形式。具体来说，累积变换是通过在时间序列上应用一个累积函数来进行的，在这个时间序列中，同时逐点执行累加和缩放操作，然后使用累积特征来表征退化的趋势。累积变换执行如下：cjn=na=1fj(a)na=1fj(a)j=1,2,J;n=1,2,N（1）式中：J 为特征种类数量；N 为特征值个数；fj(a)为第 j 种特征的第 a 个特征值；cjn为 fj(a)在 n 个特性值中的累积变换结果。从式（1）中可以看出，如果存在噪声则其会随着累加操作而逐步被放大，所以累积变换算法容易受到不必要噪声的影响，因此，在变换前对特征进行平滑处理是非常必要的。本第2期周哲韬，
13、等：基于 Transformer 模型的滚动轴承剩余使用寿命预测方法431文采用 Savitzky-Golay 滤波器来提高数据精度的同时不失真信号的趋势。平滑过程通过线性最小二乘法采用低次多项式拟合相邻数据点的连续子集来实现。表1特征和相应的计算公式Table1Featureandcorrespondingformulas特征公式反正切值标准差Xatan=(lnxi+xi2+1)反双曲正弦标准差Xasinh=(i2ln(i+xiixi)标准差Xsd=1nni=1(xi)2峰值XP=max|X|峰峰值Xp-p=max(xi)min(xi)均方根Xrms=1nni=1xi2上边界Xupper=m
14、ax(xi)+12max(xi)min(xi)n1脉冲因子Xif=XP1nni=1|xi|峰值因子Xcf=XPXrms裕度系数Xmf=XP(1nni=1|xi|)2能量Xe=ni=1xi2峭度Xk=1nni=1(xi)4Xsd4平均绝对值Xmav=1nni=1|xi|偏度Xsk=1nni=1(xi)3Xsd3在累积变换之后，设计度量来评估转换后特征的质量是至关重要的。一般来说，有 2 个常用的指标来评估构造的特征对 RUL 预测的适用性，即单调性和趋势性。单调性反映了特征的增减趋势，是退化特征的重要组成部分。其计算方法如下：M=No.ofddx 0No.ofddx 0式中：N 为特征值个数；为
15、特征值的变化差异，在实际计算时为后一个特征值减前一个特征值；为差异值大于 0 的个数；M=1、M=0 分别为特征的高度单调趋势和不单调趋势。趋势性是用来描述退化状态如何随运行时间变化的。换句话说，这个度量表征了一个与特征及与时间的相关性有关的函数。其计算方法如下：T=Nn=1(xnx)(yny)Ni=n(xnx)2Ni=n(yny)2（3）式中：xn和 yn分别为特征和时间的值；N 为特征值个数。T 的范围为 1，1，1 为特征值严格递减，1 为特征值严格递增。2基于 Transformer 的滚动轴承 RUL预测模型在基于数据驱动的滚动轴承 RUL 预测的最新研究中，循环神经网络获得了广泛的
16、应用（包括RNN，长短期记忆神经网络，门控循环单元及各类变种模型），但其串行计算方式和长序列依赖捕捉不敏感仍严重制约了模型运行速度与预测精度。因此，本文提出一种基于 Transformer 结构的滚动轴承 RUL 预测模型，旨在提高轴承 RUL 预测的精度与速度。Transformer 是一种基于注意力机制的神经网络，在自然语言处理等领域取得了良好的效果，但是其独特的结构限制了不能直接应用于 RUL 预测领域，如轴承 RUL 预测的数据与自然语言的词向量间的有效映射等问题。所以本文针对滚动轴承RUL预测场景进行了改进，结构如图 1 所示，模型由4 个部分组成，分别为位置编码、编码器、解码器及全连接神经网络。基于 Transformer 的滚动轴承 RUL 预测模型的核心在于其编码器与解码器结构，编码器与解码器均由 6 层相同层堆叠而成，其中编码器每一层包含多头自注意力机制和前馈神经网络 2 个子层，解码器每一层包含遮挡多头自注意力机制、编码-解码器多头注意力机制和前馈神经网络 3 个子层。编码器负责将输入的滚动轴承特征序列进行编码，映射为包含输入特征信息的中间向量，其核心原理为自注意力
