基于注意力增强型编解码网络的化工过程故障诊断

doi:10.12422/j.issn.1672-6952.2024.02.010

摘要/Abstract

摘要：

化工过程的数据往往含有动态时序特性，传统故障检测对动态信息的使用率较低，限制了故障诊断性能。针对这个问题，提出了一种基于注意力增强的编解码网络模型的化工过程故障诊断新方法。编码部分利用LSTM提取过程数据的特征信息，结合注意力机制，更加有效地利用过程数据间的动态信息；解码部分利用LSTM并结合注意力机制提供的上下文向量，为归一化指数的回归提供更加精准的状态信息，最后利用归一化指数回归得到各个样本数据的故障类别概率值。结果表明，注意力机制的引入，提高了模型在时域下对过程动态信息的使用效率。针对本文提出的方法，利用田纳西伊士曼过程数据进行了实验，并与标准的PCA?SVM、DBN和ResNet的结果进行了对比。结果表明，该方法诊断故障的效果更加理想。

关键词: 故障诊断, 长短期记忆网络, 注意力机制, 归一化指数回归, 编解码网络

Abstract:

The data of chemical processes often contains dynamic timing characteristics, and traditional fault detection has low usage of dynamic information, which limits the fault diagnosis performance. To address this problem,a new method of chemical process fault diagnosis based on an attention?enhanced encoder?decoder network model (AEN) was proposed. The coding part uses the LSTM to extract the feature information of the process data and combine it with the attention mechanism to utilize the dynamic information among the process data more effectively； the decoding part uses the LSTM and combines the context vector provided by the attention mechanism to provide more accurate state information for the softmax regression, and finally, the softmax regression is used to obtain the probability value of the fault category for each sample data. The introduction of the attention mechanism improves the efficiency of the model in using process dynamic information in the time domain. The proposed method is experimented with using Tennessee Eastman process data and compared with the results of standard PCA?SVM, DBN and ResNet, and the results show that the proposed method is more effective in diagnosing faults.

Key words: Fault diagnosis, LSTM networks, Attention mechanism, Softmax regression, Encoder?decoder network

中图分类号:

TQ021.8

夏起磊, 罗林, 张垚. 基于注意力增强型编解码网络的化工过程故障诊断[J]. 辽宁石油化工大学学报, 2024, 44(2): 63-70.

Qilei XIA, Lin LUO, Yao ZHANG. Fault Diagnosis of Chemical Processes Based on Attention⁃Enhanced Encoder⁃Decoder Network[J]. Journal of Liaoning Petrochemical University, 2024, 44(2): 63-70.

图/表 6

图1 AEN模型

Fig.1 AEN model

图2 基于AEN模型的故障监测流程

Fig.2 AEN model?based fault monitoring process

表1 DBN、ResNet和AEN模型的参数设置

Table 1 Parameter settings for DBN，ResNet and AEN models

参数	DBN	ResNet	AEN
优化器	Adam	Adam	Adam
学习率	0.001	0.001	0.001
迭代次数	100	100	100
批处理规模	64	64	64
激活函数	ReLU	ReLU	ReLU

表2 4种方法的平均误报率和平均检出率 (detection rate of 4 methods)

Table 2 The average false positive rate and average

模型	平均误报率/%	平均检出率/%
PCA⁃SVM	5.71	88.69
DBN	3.39	94.76
ResNet	4.09	92.61
AEN	1.51	97.51

图3 AEN模型的误报率、故障检出率与特征数及运行时间的关系

Fig.3 Relationship between FAR, FDR, features number and running time of AEN model

图4 4种模型对21种故障模式的ROC曲线

Fig.4 ROC curves of four models for 21 failure modes

参考文献 29

1	GE Z Q， SONG Z H， GAO F R. Review of recent research on data⁃based process monitoring［J］. Industrial & Engineering Chemistry Research， 2013， 52（10）： 3543⁃3562.
2	FRANK P M. Fault diagnosis in dynamic systems using analytical and knowledge⁃based redundancy： A survey and some new results［J］. Automatica， 1990， 26（3）： 459⁃474.
3	VENKATASUBRAMANIAN V， RENGASWAMY R， YIN K W， et al. A review of process fault detection and diagnosis： PartⅠ： Quantitative model⁃based methods［J］. Computers & Chemical Engineering， 2003， 27（3）： 293⁃311.
4	VENKATASUBRAMANIAN V， RENGASWAMY R， KAVURI S N. A review of process fault detection and diagnosis： PartⅡ： Qualitative models and search strategies［J］. Computers &Chemical Engineering，2003， 27（3）： 313⁃326.
5	VENKATASUBRAMANIAN V， RENGASWAMY R， KAVURI S N， et al. A review of process fault detection and diagnosis（Ⅲ）： process history based methods［J］. Computers & Chemical Engineering， 2003， 27（3）： 327⁃346.
6	刘强，柴天佑，秦泗钊，等. 基于数据和知识的工业过程监视及故障诊断综述［J］. 控制与决策， 2010， 25（6）： 801⁃807.
	LIU Q， CHAI T Y， QIN S Z， et al. Progress of data⁃driven and knowledge⁃driven process monitoring and fault diagnosis for industry process［J］. Control and Decision， 2010， 25（6）： 801⁃807.
7	HÄSTBACKA D， KANNISTO P， VILKKO M. Data⁃driven and event⁃driven integration architecture for plant⁃wide industrial process monitoring and control［C］//IECON 2018⁃44th Annual Conference of the IEEE Industrial Electronics Society. Washington： IEEE， 2018： 2979⁃2985.
8	ALIZADEH E， KOUJOK M E， RAGAB A， et al. A data⁃driven causality analysis tool for fault diagnosis in industrial processes［J］. IFAC⁃PapersOnLine， 2018， 51（24）： 147⁃152.
9	MACGREGOR J F， KOURTI T. Statistical process control of multivariate processes［J］. Control Engineering Practice， 1995， 3（3）： 403⁃414.
10	RAICH A C， Çinar A. Multivariate statistical methods for monitoring continuous processes： Assessment of discrimination power of disturbance models and diagnosis of multiple disturbances［J］. Chemometrics and Intelligent Laboratory Systems， 1995， 30（1）： 37⁃48.
11	RAICH A， ÇINAR A. Statistical process monitoring and disturbance diagnosis in multivariable continuous processes［J］. AIChE Journal， 1996， 42（4）： 995⁃1009.
12	CHIANGLH L H， RUSSELL E L， BRAATZ R D. Fault diagnosis in chemical processes using fisher discriminant analysis， discriminant partial least squares， and principal component analysis［J］. Chemometrics and Intelligent Laboratory Systems， 2000， 50（2）： 243⁃252.
13	罗林，赵强. 加氢裂化过程软测量建模研究综述［J］. 辽宁石油化工大学学报， 2018， 38（1）： 66⁃73.
	LUO L， ZHAO Q. Review of soft sensor techniques for hydrocracking process［J］. Journal of Liaoning Shihua University， 2018， 38（1）： 66⁃73.
14	谢磊. 间歇过程统计性能监控研究［D］. 杭州：浙江大学， 2005.
15	李荣雨. 基于PCA的统计过程监控研究［D］. 杭州：浙江大学， 2007.
16	葛志强. 复杂工况过程统计监测方法研究［D］. 杭州：浙江大学， 2009.
17	CHEN J， LIAO C M. Dynamic process fault monitoring based on neural network and PCA［J］. Journal of Process Control， 2002， 12（2）： 277⁃289.
18	LAU C K， GHOSH K， HUSSAIN M A， et al. Fault diagnosis of tennessee eastman process with multi⁃scale PCA and ANFIS［J］. Chemometrics and Intelligent Laboratory Systems， 2013， 120： 1⁃14.
19	THOMPSON B. Canonical correlation analysis［M］. London： Sage Publications， 1984.
20	HYVÄRINEN A， OJA E. Independent component analysis： Algorithms and applications［J］. Neural Networks， 2000， 13（4⁃5）： 411⁃430.
21	YU X C， Hu D， Xu J D. Supervised learning independent component analysis algorithms and applications［M］. New York： John Wiley & Sons Itd， 2014.
22	ALBAZZAZ H， WANG X Z. Statistical process control charts for batch operations based on independent component analysis［J］. Industrial & Engineering Chemistry Research， 2004， 43（21）： 6731⁃6741.
23	ZHANG Y W， MA C. Fault diagnosis of nonlinear processes using multiscale KPCA and multiscale KPLS［J］. Chemical Engineering Science， 2011， 66（1）： 64⁃72.
24	SHAWE⁃TAYLOR J. Kernel methods for pattern analysis［M］. Beijing： China Machine Press， 2004.
25	王太勇，王廷虎，王鹏，等. 基于注意力机制BiLSTM的设备智能故障诊断方法［J］. 天津大学学报，2020，53（6）：601⁃608.
	WANG T Y， WANG T H， WANG P， et al. An intelligent fault diagnosis method based on attention⁃based bidirectional LSTM network［J］. Journal of Tianjin University， 2020， 53（6）： 601⁃608.
26	侯鑫烨，董增寿，刘鑫，等. 基于能量熵和CL⁃LSTM的故障诊断模型［J］. 机床与液压， 2021， 49（16）： 180⁃184.
	HOU X Y， DONG Z S， LIU X， et al. Fault diagnosis model based on energy entropy and CL⁃LSTM［J］. Machine Tool & Hydraulics， 2021， 49（16）： 180⁃184.
27	曲星宇，曾鹏，李俊鹏. 基于RNN⁃LSTM的磨矿系统故障诊断技术［J］. 信息与控制， 2019， 48（2）： 179⁃186.
	QU X Y， ZENG P， LI J P. Fault diagnosis technology of grinding system based on RNN⁃LSTM［J］. Information and Control， 2019， 48（2）： 179⁃186.
28	LUO L， XIE L， SU H Y. Deep learning with tensor factorization layers for sequential fault diagnosis and industrial process monitoring［J］. IEEE Access， 2020， 8： 105494⁃105506.
29	KINGMA D P， BA J. Adam： A method for stochastic optimization［DB/OL］. （2014⁃12⁃22）［2022⁃11⁃25］. https：//arxiv.org/abs/1412.6980.

[1]	刘佳玮, 曹江涛, 姬晓飞. 基于Swin Transformer和YOLOv5的无纺布瑕疵检测[J]. 辽宁石油化工大学学报, 2024, 44(3): 80-88.
[2]	赵旭峰, 刘琳琳, 曹宇, 叶成荫, 郭宗凯. 基于图像分块和多头注意力机制的气象识别研究[J]. 辽宁石油化工大学学报, 2024, 44(2): 83-90.
[3]	常万杰, 刘琳琳, 曹宇, 曹杨, 魏海平. 基于Informer算法的病毒传播预测研究[J]. 辽宁石油化工大学学报, 2024, 44(1): 80-88.
[4]	赵珣, 陈帅, 邱海洋. 基于改进双向循环神经网络的变压器故障诊断模型研究[J]. 辽宁石油化工大学学报, 2023, 43(5): 75-83.
[5]	姜楠, 罗林, 王乔, 侯维. 结构优化深度网络的高压断路器机械故障诊断[J]. 辽宁石油化工大学学报, 2023, 43(3): 91-96.
[6]	宋绍楼, 吕亮, 刘昕明. 基于CEEMDAN⁃SPSO⁃ELM的旋转电机滚动轴承故障检测方法[J]. 辽宁石油化工大学学报, 2022, 42(1): 86-91.
[7]	周学均, 陈小强, 谢磊. 基于改进收敛交叉映射的厂级振荡源诊断[J]. 辽宁石油化工大学学报, 2021, 41(5): 85-90.
[8]	刘晓琴，王晨旭，孙海军，王千. 基于小波和贝叶斯网络的智能建筑供配电系统故障诊断研究[J]. 辽宁石油化工大学学报, 2020, 40(6): 78-84.
[9]	裴小邓，罗林，陈帅，王乔. 面向电力变压器油中溶解气体的卷积神经网络诊断方法[J]. 辽宁石油化工大学学报, 2020, 40(5): 79-85.
[10]	陈小龙，周俊鹏，张颖，樊瑞筱. 基于声发射波形流信号的滚动轴承故障双谱分析及诊断[J]. 辽宁石油化工大学学报, 2018, 38(03): 89-92.
[11]	王晓蕾,阚哲,张雷雷. 基于小波原理和流体静电信号诊断矿用液压系统故障原理[J]. 辽宁石油化工大学学报, 2015, 35(3): 65-68.
[12]	张朝龙,何怡刚,袁莉芬,陈立平. 一种基于量子神经网络的模拟电路故障诊断方法[J]. 辽宁石油化工大学学报, 2015, 35(2): 58-61.
[13]	周伟强,侯立刚,苏成利. 基于时间 - 小波能量包络谱的滚动轴承特征提取[J]. 辽宁石油化工大学学报, 2014, 34(3): 75-78.
[14]	刘暋达,翟春艳,李书臣,苏成利. 汽轮机转子故障诊断算法应用研究[J]. 辽宁石油化工大学学报, 2013, 33(3): 67-69.
[15]	唐宇,石成江,杨静,崔清. 基于DASP的转子典型故障模拟与分析[J]. 辽宁石油化工大学学报, 2013, 33(2): 80-84.