1、基于 Attention-LSTM 的化工过程故障诊断研究Chemical Process Fault Diagnosis Based on Attention-LSTM陈思达张艳珠（沈阳理工大学自动化与电气工程学院，辽宁 沈阳110159）摘要：随着工业生产水平的不断提高，对生产过程的稳定性要求也逐步提高，为避免因故障带来的损失，进行故障诊断研究具有十分重要的意义。针对化工过程数据具有多变量时序性的特点，提出了一种基于Attention-LSTM的深度学习方法对化工过程进行故障诊断。首先，该方法通过Attention机制捕捉不同变量间的关联程度，实现多变量解耦；然后再将At-tention机
2、制的输出作为LSTM网络的输入，通过LSTM网络有效提取数据的时域特性，以实现动态数据去相关化；最后，通过线性层进行故障诊断。该方法在田纳西-伊斯曼化工过程上进行了验证，证明了该方法对化工过程故障诊断的有效性。关键词：故障诊断；化工过程；Attention机制；LSTM；深度学习Abstract:With the continuous development of the industrial production level,the requirements for the stability of theproduction process are gradually increased.
3、In order to avoid the losses caused by fault,it is of great significance to carryout fault diagnosis research.Aiming at the characteristics of chemical process data with multivariate time series,this paperproposes a deep learning method based on Attention-LSTM to chemical process fault diagnosis.Fir
4、stly,the method cap-tures the degree of association between different variables through the Attention mechanism,and realizes multivariate decou-pling.Then,the output of the Attention mechanism is used as the input of the LSTM network,and the time characteristicsof the data are effectively extracted
5、through the LSTM network to achieve dynamic data de-correlation.Finally,fault diagno-sis is performed through the linear layer.The method is validated on the Tennessee-Eastman chemical process,whichproved the effectiveness of the method for fault diagnosis of chemical process.Keywords:fault diagnosi
6、s,chemical process,Attention mechanism,LSTM随着科技的不断发展，化工生产过程规模不断扩大且日益复杂化，同时也增加了化工过程中发生故障的可能性1。而复杂的化工过程一旦发生故障，轻则导致产品质量受到影响，重则造成人身安全问题2。近年来，深度学习已经在图像、自然语言处理等诸多领域应用起来，同时也推动了化工过程故障诊断方法的研究。文献3提出一种基于深度残差网络（DRN）的化工过程故障诊断方法，提高了化工过程故障诊断精度；文献4在深度置信网络(DBN)中加入惩罚正则项，使无标签的数据特征能够直观表示，在化工过程数据上证实了该方法的可行性。文献5针对化工过程故障诊
7、断中存在数据特征使用不充分的问题，将自适应卷积核融入卷积神经网络（CNN），提高了故障特征的重复使用率；文献6将二维卷积神经网络（2D-CNN）应用于化工过程故障诊断中，解决了化工过程中高维数据难以学习和提取故障特征的问题；文献7针对化工过程的复杂性，提出一种并行长短时记忆网络和卷积神经网络模型（PLSTM-CNN）进行化工生产过程故障诊断；文献8将长短期记忆（LSTM）网络与降噪自编码器（DAE）相结合来进行化工过程故障诊断，有效降低了故障漏检率，表明所提方法能够在实际化工过程中进行有效的故障诊断。本文将注意力机制（AM）和长短期记忆网络（LSTM）结合，提出了一种基于Attention-L
8、STM的故障诊断方法。1Attention-LSTM模型1.1注意力机制本文采用的注意力机制借鉴于Transformer9模型中的自注意力机制。首先将输入矩阵X映射到两个不同的空间，形成两个不同的矩阵，分别为查询矩阵（Query，Q）和键矩阵（Key，K）。如下公式所示：Q=XWQRNdq（1）K=XWKRNdk（2）式中，XRNT为输入的数据矩阵；T为输入矩阵的时间步长；N为输入矩阵的变量个数；dq=dk为映射的维度；WQRTdq，WKRTdk为随机生成的权重矩阵。然后将Q与K做点积处理，达到求取注意力得分的作用，并对注意力得分矩阵进行缩放处理。接着对缩放后的注意力得分矩阵使用Softmax
9、函数进行概率化处理，这样得到的注意力得分概率矩阵就反映了N个监测变量在T时间步长内的关联程度。最后将注意力得分概率矩阵与原输入矩阵X进行矩阵相乘，这样就使得输出矩阵中包含了变量域的特征。过程如下公式所示：Attention（Q，K，X）=softmax（QKTdk）XRNT（3）式中，X为输入的数据矩阵；T为输入矩阵的时间步长；N为输入矩阵的变量个数；Attention为注意力机制运算。1.2 LSTM神经网络由于循环神经网络RNN经过多次网络递归之后，较早时刻信息对后面时刻信息的影响越来越小，导致RNN学不到远端有用信息，造成长距离依赖问题。而LSTM作为RNN的变体，在一定程度上解决了这个
10、问题，故本文采用LSTM来实现时域特征提取。LSTM网络结构如图1所示。图1LSTM网络结构图LSTM读入公式（4）中的输入样本，X是一定时间步长内的输入矩阵，其中T是输入矩阵的时间步长，N是变量个数，Xt为t时刻的所有变量序列表示，如公式（5）所示：X=（X1，Xt-1，Xt，Xt+1，XT）RNT（4）基于Attention-LSTM的化工过程故障诊断研究76工业控制计算机2023年第36卷第1期图3Attention-LSTM整体网络结构构图Xt=（xt，1，xt，2，xt，N）RN（5）LSTM对每个时刻的输入序列进行特征提取，隐藏状态如公式（6）所示：ht=L（ht-1，Xt）Rdf
11、（6）式中，L代表LSTM內部运算；ht是时刻的隐藏状态；df是隐藏状态的维度。由于原始的LSTM网络只能从单一方向提取时序信息，而化工过程中数据具有强烈的时间相关性，故本文采用双向LSTM（Bi-LSTM）对输入的数据进行前向和反向的时序信息提取。Bi-LSTM网络架构如图2所示：图2Bi-LSTM网络架构图Bi-LSTM网络架构中，同时读取输入数据的前向时间信息和反向时间信息，然后计算出前向和反向的隐藏状态，如公式（7）、公式（8）所示：h?t=L（ht-1?，Xt）Rdf（7）h?t=L（ht+1?，Xt）Rdf（8）然后将h?t和h?t相连接，形成ht，如公式（9）所示，这样ht就包含
12、了之前和未来的时间信息，以此达到时域特征提取的目的。ht=（h?t，h?t）R2df（9）1.3 Attention-LSTM神经网络Attention-LSTM网络结构如图3所示。由图可知，首先将数据输入到注意力层中，借助注意力机制提取变量域的数据特征，捕捉不同变量间的关联程度；然后将得到的数据特征输入到Bi-LSTM网络中，有效提取数据的时域特征，达到动态数据去相关化的效果；最后将Bi-LSTM网络的输出数据特征送到线性层进行线性映射和Softmax处理，以此实现故障诊断。为了解决模型精度随着网络层数的增加而降低的问题，本文在注意力层和Bi-LSTM网络后均加入Relu激活函数和批归一化(
13、batch normalization，BN)处理，以此加快模型收敛，提高模型的训练速度和泛化能力。2仿真验证2.1田纳西-伊斯曼（TE）过程本文采用的数据集由田纳西-伊斯曼（Tennessee East-man，TE）过程仿真得来。TE过程是一个实际化工过程的仿真模拟，主要由反应器、汽提塔、产品冷凝器、循环压缩机和气液分离器5大操作单元组成。平台共有21种故障类型，53个参数变量，其中有3个参数变量在平台仿真模拟过程中保持不变。2.2 TE过程故障诊断研究本文在不同故障状态下对TE过程仿真模型进行运行，采集实验所需的数据。经过研究，为了不失一般性，本文共选出6种故障类型，故障类型描述如表1所
14、示，分别为故障1、2、7、8、12和17。其中故障1、2、7为阶跃型故障，故障8和故障12为随机型故障，故障17为未知型故障。再加上无故障正常情况下共7种类别进行TE过程故障诊断研究验证。表1故障类型描述表TE过程仿真运行时，训练集每种类别分别运行40 h，各类别均采集样本800个，测试集每种类别分别运行24 h，各类别均采集样本480个。划分时间步长为20，去掉3个保持恒值的变量，选择剩余50个变量用于制作数据集。则训练集总样本形式为2802050，测试集总样本形式为1682050。Attention-LSTM神经网络在TE数据集上的识别准确率如图4所示，其中具体网络参数设置如表2所示。图4
15、Attention-LSTM识别准确率图经实验分析，在表2最优参数设置下，Attention-LSTM训练过程中，测试集识别准确率最终稳定在97.67%，训练时间为36.3分钟。为了验证本算法的优越性，与其他故障诊断方法进行了对比，对比结果如表3所示。从表3可以看出Attention-LSTM神经网络故障准确率高于其他方法。（下转第79页）表2Attention-LSTM具体网络参数77工业控制计算机2023年第36卷第1期当激励信号为白噪声时，其相关特性为：Rxx（-s）=k（-s）将白噪声相关特性方程代入Wiener-Hopf方程：Rxy（）=k0g（s）（-s）ds=kg（s）式中，g（
16、s）表示大地脉冲响应，Rxy（）为输入信号与输出信号的互相关联函数，Rxx（）为输入信号的自相关函数。由上述表达式可看出，只有被积函数Rxx（）等于函数时，Rxy（）才能等于脉冲响应g（）。在实际应用中，白噪声通常不容易产生，还容易受时间、温度以及其他因素的影响。而m序列的自相关函数Rxx（）是一个尖锐三角脉冲，近似于函数，因此，若输入系统的是自相关函数与函数相似的伪随机信号，则求出Rxy（）便可以容易得到大地脉冲响应g（s）。3脉冲响应分析对比高斯白噪声是在工作中比较常见且需要考虑的一种噪声信号，主要是电子仪器设备产生的，产生该噪声的原因有很多，电子设备的电导、电线以及其他元件都可以制造该噪声。该噪音与温度的关系很大，工作温度越高，噪音越大。而野外的勘探设备是由许多的电子仪器所组成，所以该噪音对工作的影响也很大，需要进行专门研究。该勘探所采用的高斯白噪声信号图如图4所示：图4高斯白噪声信号图为了检验以伪随机m序列作为激励源，利用相关辨识原理提取大地脉冲响应的效果，本文以均匀半空间为例，选取码元宽度1/10 000 s，周期为2，幅值为1的电平对称7阶m序列和11阶m序列作为发射信号进