1、第 卷第期 年月系统工程与电子技术 文章编号：（）网址：收稿日期：；修回日期：；网络优先出版日期：。网络优先出版地址：基金项目：国家自然科学基金（）；湖北省自然科学基金（）资助课题通讯作者引用格式：闫啸家，梁伟阁，张钢，等基于 的机械设备剩余寿命预测方法系统工程与电子技术，（）：，（）：基于 的机械设备剩余寿命预测方法闫啸家，梁伟阁，张钢，佘博，田福庆（海军工程大学兵器工程学院，湖北 武汉 ；大连舰艇学院导弹与舰炮系，辽宁 大连 ）摘要：针对机械设备的关键退化信息易淹没在非线性、多维度、长时间、大规模监测数据中的问题，提出了一种基于残差卷积神经网络和注意力双向长短时记忆网络融合（，）的机械设备
2、剩余寿命预测方法。首先通过训练 提取监测数据的深度空间特征；然后通过引入注意力机制，优化双向长短时记忆网络提取时间相关特征的权重参数，加强关键退化信息对剩余寿命预测的表达；最后通过航空发动机数据集验证了方法的有效性。分析结果表明，对于运行条件复杂和故障模式多变的多维监测数据，所提方法能够准确寻找退化时间点，有效提高长时间运行设备的剩余寿命预测准确度。关键词：残差卷积神经网络；注意力机制；融合模型；剩余寿命预测；航空发动机中图分类号：文献标志码：，（.，；.，）：，（），：（）；（）；引言对机 械 设 备 进 行 预 测 和 健 康 管 理（，）有利于提高其安全性，防止灾难性 事 故 发 生。而
3、 剩 余 寿 命（，）的准确预测是 研究领域中的关键任务，可以 系统工程与电子技术第 卷为设备维修建立最佳维护策略提供决策支持。预测可以动态感知机械设备健康状态的未来变化，目前较为流行的有模型驱动的预测方法、数据驱动的预测方法和混合驱动的预测方法三类。模型驱动和混合驱动的预测方法需要通过已知的力学原理和机械原理建立明确的数学模型，进而分析设备的性能退化过程。然而大型机械设备的结构复杂，使用环境和故障模式多样，建立精确的性能退化模型代价过高，应用范围受到极大限制。而数据驱动的预测方法仅通过对设备运行过程中的监测数据进行性能特征挖掘，从而展现内外部环境所导致设备性能的劣化，该方法规避了机械设备复杂
4、机理的数学建模，逐步成为 预测的研究热点。数据驱动的预测方法主要分为统计分析和机器学习两类方法。统计分析方法通过对设备失效时间数据进行统计分析，利用参数估计构造 的分布函数，然后通过分布拟合随机变量的关系实现 预测。黄亮等通过融合机械设备的历史退化数据和实时监测数据，建立了多阶段 过程性能退化模型，从而实现发动机 的预测。袁庆洋等利用电机温度作为退化特征，建立了多段 过程模型以预测电机。冯磊等 提出了半随机滤波 期望最大化算法，成功解决了隐含退化过程的 在线预测问题。等 综合考虑了模型参数估计过程中设备的工作参数和监测信号，从而建立威布尔加速损伤回归模型来描述不同工作状态下设备的故障特征。等
5、利用设备融合监测信息建立了基于 退化过程的 预测模型。王泽洲等 在传统 退化模型中引入扩散系数与漂移系数的比例关系，从而实现漂移系数和扩散系数的同步更新。等 基于随机系数 过程对复杂机械设备的 进行预测，具有更高的预测精度和更低的预测不确定性。然而，随着智能传感器的发展，通常使用多种组网传感器收集多源数据来全面反映设备运行状态，统计分析方法难以从信号差异大、采样策略多和数据价值低的大数据中提取退化特征信息，同时基于耦合多维变量的 分布求解难题仍未解决。以深度学习为代表的机器学习可以对原始监测数据进行特征提取和训练，不必构建具体的退化模型便可模拟性能退化过程，同时深度学习方法克服了浅层机器学习方
6、法 难以提取深度特征的缺陷，通过对多传感器性能参数组成的多维数据进行深度特征提取，充分利用学习时间序列蕴含的信息对 进行更为精确的预测。深度循环神经网络（，）适用于处理时间序列，从中挖掘反映设备性能退化的潜在特征，而其衍生模型长短期记忆（，）网络可以解决 模型无法学习长时间特征关系及梯度消失等问题，对于解决设备的 预测问题具有明显优势。等 通过多层 堆叠以构建深层 结构，提高了 预测精度。王鑫等 通过多层网格参数搜索，对 预测模型优选参数，并利用飞机故障试验对方法的有效性和实用性进行了验证。等 构建了可以挖掘不同退化状态信息的多尺度 ，具有更好的 预 测 性 能。宋 亚 等 提 出 自 编 码
7、 器 与 双 向 （，）网络融合模型，对于高维海量状态监测数据的处理获得了较好的效果。孙世岩等 使用扩增后的数据训练 网络，解决了训练样本数量不 足 的 问 题，同 时 准 确 描 述 了 轴 承 的 退 化 趋 势。等 利 用 卷 积 神 经 网 络（，）提 取 监 测 数 据 的 空 间 特 征，从 而 对 设 备 的 进行准确的预测。尽管 在处理时序性数据时表现出良好的效果，但面对长时间序列时难以捕捉关键退化信息，从而导致性能退化时间点的识别准确率较低。为了解决上述问题，本文提出一种基于残差 和注意力 网络（，）的 预 测 模 型。首 先，利 用 从多维传感器信号中提取深度特征向量，同时
8、利用残差网络结构有效解决深层 带来的梯度消失问题；其次，针对传感器数据的前后序列相关性，利用 学习 所提空间特征的退化信息，捕获时间序列中长距离相关特征，并借助注意力机制计算时间特征的重要性程度，加强关键时间特征对 预测的表达，从而有效提高模型 预测准确度。模型理论 传统 的结构如图所示，主要由卷积层、池化层和全连接层组成。卷积层能够提取输入数据的特征，池化层对卷积层所提特征按照特定规则进行选择和过滤，而全连接层一般与输出层进行连接，相当于传统前馈神经网络的隐藏层，实现最后的输出维度变换。模型可以从多维样本中自适应提取空间特征，易于实现样本重构和特征提取，可以有效获取性能退化信息。图 结构 的
9、卷积层越多，能够提取到的深度特征越丰富。但是加深网络易导致梯度消失，反而降低 预测的精度。深度残差网络（，）能够有效克服梯度消失的影响，可以提高特征提取和学习能力。第期闫啸家等：基于 的机械设备剩余寿命预测方法 基于残差思想构造更深的网络架构，能够获得更具鲁棒性的特征表达，从而提高 预 测 精 度。图（）为 传 统 单个模块的结构示意图，其中常规的卷积操作会破坏输入数据的时间顺序。为解决该问题，本文提出一种单向残差卷积网络结构，堆叠若干单元模块可以构造不同深度的网络；同时引入批量归一化操作，加速模块训练速度，提高模型训练精度。单个模块结构如图（）所示，设为单向残差模块的输入，则卷积模块中非线性
10、映射函数（）的定义为（，）（）（）式中：、和分别为单向残差模块个卷积层的权重矩阵；（）表示批归一化（，）操作和 激活函数的函数映射；为卷积运算。则单个模块的非线性映射函数为（，）（）对式（）求偏导，可得（，）（，）（）图 模块 由式（）可知，通过构建输入到输出的直连通道可以有效解决梯度消失的问题。对比图（）和图（），根据全寿命周期数据集特点，单向残差模块将经典残差模块第个卷积层的卷积核尺寸由替换为。同时，实际卷积过程实现了卷积核的单向移动，不会对时间序列的前后相关性进行破坏，即对机械设备传感器数据的单一时间序列进行信息融合，不改变数据的时序关系，进而提取与 相关联的特征。网络 预测的主要途径是
11、从机械设备传感器数据中学习与设备性能退化的时空信息，而 可以充分利用数据的时间相关特性对时域序列数据进行处理，然而当单一时序数据的长度很大或时间很短时，会存在梯度消失、梯度爆炸等问题。引入记忆细胞概念，由输入门、遗忘门、选择门和输出门个相互连接的结构组成，通过比较记忆信息和当前信息，选择重要信息，遗忘次要信息，使网络获得更强的记忆能力，能够缓解长序列 训练过程中梯度消失与爆炸的问题，其网络拓扑结构如图所示。图 网络结构图 其中，、分别为时刻和时刻的隐藏状态；、分别为时刻和时刻的门控单元状态；为时刻的输入。遗忘门负责对上一节点输入的信息进行选择性遗弃；输入门将记忆信息与当前信息进行融合，输入至选
12、择门中；选择门对融合信息进行选择性记忆；输出门决定当前门控单元状态对隐层输出的影响。当前门控单元状态受上一时刻门控单元状态、遗忘门、输入门和选择门共同影响，而记忆单元的输出由输出门和门控单元状态共同决定，具体计算过程如下所示：（，）（，）（，）（，）（）（）式中：和、和、和以及和分别为遗忘门、输入门、选择门和输出门的权重和偏置矩阵；（）为 激活函数，将输出变换到，区间内；（）为双曲正切激活函数，将输出变换到，区间内。记忆单元或称门控单元是 网络的核心，通过若干记忆单元构成前向传播链式结构，可以实现信息的统筹和传递。由式（）可知，记忆单元可以对信息流进行精准的控制，通过整合所有时刻内部状态信息和
13、输入信息，保证模型训练过程中梯度下降的稳定性。为了加深对原始时间序列特征提取的层次，进一步提高模型输出的准确性，将两个方向不同的独立的 叠加在一起构成 网 系统工程与电子技术第 卷络，具体结构如图所示。图 网络结构图 将输入至前向层，从时刻到时刻正向计算出向前隐含层的输出；输入至反向层，从时刻到时刻反向计算出向后隐含层的输出。最后，将前向层和反向层的输出结果输入至全连接层，得到最终输出：（，）（）式中：（）是全连接层的映射函数。机械设备 预测模型 预测模型概述在机械设备 预测中，性能退化规律的重要信息主要存储于历史时间序列中。传统机器学习方法一般根据先验知识从时间序列中选取与性能退化相关特征，
14、这种方法会破坏历史数据的时序性，导致预测精度较低。而 不仅能够充分挖掘数据潜在规律，自动提取重要特征，而且可以改善深层 训练过程中梯度消失的问题。基于注意力机制的 网络能够更好地从 所提取特征中学习性能退化的规律，更容易捕获时间序列中长距离相关特征，当 预测中输入时间序列过长时，注意力机制可以通过对输入特征赋予不同的权重，利用有限运算资源从大量信息中筛选出关键信息，过滤或弱化其他冗余信息，使模型更加关注对性能退化影响大的特征，以此来解决时间序列过长导致的信息丢失问题。因此，本文提出的 机械设备 预测方法，能够利用融合模型深入挖掘传感器数据中丰富的规律信息与退化趋势，提高 预测的精度。结构本文所
15、设计并构建的 结构如图所示。该模型主要由输入层、特征提取层、时间序列信息学习层以及输出层组成。将机械设备传感器数据输入至单向残差模块中，通过反复卷积操作加深网络深度，将所提多维特征图输入至全连接层 获 得 最 终 输 出，完 成 时 间 序 列 深 度 特 征 的 提 取。模块从所提特征中学习机械设备随时间变化的规律，注意力模块通过引入权值概率来突出注意力集中的时间段，同时加强各段之间的联系以帮助网络捕获关键时间序列信息。最后，利用输出层对当前 做出精准预测。图 模型结构图 输入层输入层负责将机械设备历史传感器数据输入至预测模型中。记运行工况和不同类型传感器监测数据为相关特征时间序列矩阵（，）
16、（，），展开可表示为（）式中：，（）为在时刻的个相关变量数值序列；，（）为第个相关变量在个历史时刻的数值序列。.特征提取层特征提取层负责提取输入时间序列的特征。通过构建若干单向残差模块组成 框架，同时在模块中添加最大值池化层，以保留更多的数据波动信息。经过卷积和池化操作后原始数据被映射到隐层特征空间，选取 激活函数进行激活，搭建全连接结构将其转换为一维结构，并简化参数以提高训练速度。输入为单个时间序列，构建层残差模块结构如图所示，其计算过程为第期闫啸家等：基于 的机械设备剩余寿命预测方法 （）（）（）（）（）（）（）（）（）（）（）（）（）式中：、和分别为残差卷积、和的输出；为池化操作的输出；为偏置向量；可记为，为特征提取层的输出，其中为提取特征的数量，为时间长度。图特征提取层结构 由图可知，假设输入数据的大小为 ，卷积核的数目为，首先经过残差卷积操作后，变为大小为 的两个特征图；其次经过尺寸为的最大值池化操作后，得到 的输出；然后经过残差卷积操作和后，得到大小为 的输出；之后将输出节点展开为全连接层，利用激活函数计算出特征提取层的最终输出，从而实现提取特征降维。时间序列信息学习层对于
