KAN⁃Transformer Fault Diagnosis Method for Rotating Machinery Bearings Based on Physical Attention Mechanism

doi:10.12422/j.issn.1672-6952.2026.02.007

Abstract

Abstract:

Addressing the challenge of inaccurate fault diagnosis caused by the strong interference of vibration signal noise and the dependence of feature extraction on manual design in the fault diagnosis of rotating machinery bearings, this paper proposes a physics⁃informed attention Transformer model that integrates bearing dynamics mechanisms with the Kolmogorov⁃Arnold Network (KAN). First, based on Hertz contact theory, the characteristic fault frequency equations for the bearing inner ring, outer ring and rolling element are derived, and the frequency⁃domain mask⁃guided attention mechanism is constructed to focus on the fault⁃sensitive frequency band; Second, the Kan⁃Transformer architecture is designed to adaptively analyze the time⁃frequency characteristics of vibration signals through the multi⁃scale decomposition ability of Kan, and realize the long⁃range dependence modeling combined with the Transformer's global attention; Finally, the proposed model is evaluated using the Case Western Reserve University (CWRU) bearing data set. Experiments show that the accuracy of the model is 99.75%, which is significantly better than the traditional model. It provides a high⁃precision, robust and physically interpretable solution for bearing fault diagnosis of rotating machinery.

Key words: KAN?Transformer, Attention mechanism, Hertz theory, Rolling bearing, Fault diagnosis

摘要：

针对旋转机械轴承故障诊断中振动信号噪声干扰强、特征提取依赖人工设计等导致的故障诊断不准确问题，提出了一种融合轴承动力学机理与Kolmogorov⁃Arnold网络（KAN）的物理注意力Transformer模型。首先，基于Hertz接触理论推导轴承内圈、外圈及滚动体故障特征频率方程，构建频域掩码引导注意力机制聚焦故障敏感频带；其次，设计KAN⁃Transformer架构，通过KAN的多尺度分解能力自适应解析振动信号的时频特征，结合Transformer的全局注意力实现长程依赖建模；最后，在凯斯西储大学（CWRU）轴承数据集上验证了模型的性能。结果表明，该模型的准确率达99.75%，显著优于传统模型。研究结果为旋转机械轴承故障诊断提供了一种高精度、高鲁棒性且物理可解释的解决方案。

关键词: KAN?Transformer, 注意力机制, Hertz理论, 滚动轴承, 故障诊断

CLC Number:

TQ050.7

Kui ZHANG, Yongfei YAN, Xingang WANG, Yun YANG. KAN⁃Transformer Fault Diagnosis Method for Rotating Machinery Bearings Based on Physical Attention Mechanism[J]. Journal of Liaoning Petrochemical University, 2026, 46(2): 58-67.

张奎, 晏永飞, 王新刚, 杨赟. 基于物理注意力机制的KAN⁃Transformer旋转机械轴承故障诊断方法[J]. 辽宁石油化工大学学报, 2026, 46(2): 58-67.

Figures/Tables 10

Fig.1 The basic topology structure of standard RNN

Fig.2 LSTM model structure diagram

Fig.3 KAN model architecture diagram

Fig.4 Examples of self?attention structures and multi?head attention structures

Fig.5 Diagram of Transformer Architecture

Fig.6 Diagram of KAN?Transformer?Physics?informed Attention

Fig.7 Performance comparison between the training set and the validation set

Table 1 Performance evaluation results of different models

模型	准确率	精度	召回率	F1值
CNN	0.602 5	0.583 8	0.602 5	0.587 1
LSTM	0.980 0	0.981 0	0.980 0	0.980 0
Transformer	0.773 8	0.773 9	0.773 7	0.772 6
Transformer⁃Attention	0.993 8	0.993 7	0.993 8	0.993 7
本文模型	0.997 5	0.997 5	0.997 5	0.997 5

Fig.8 Diagnostic confusion matrices for each model

Table 2 Performance evaluation results of the proposed model under different hidden layer dimensions

隐藏层数	准确率	精度	召回率	F1值
32	0.998 8	0.998 8	0.998 8	0.998 7
64	0.998 8	0.998 8	0.998 8	0.998 7
128	0.997 5	0.997 5	0.997 5	0.997 5

References 24

[1]	赵建宏，刘婧妍，石红. 一种基于VMD的汽车滚动轴承故障诊断方法［J］. 中国科技信息， 2025（6）： 61⁃65.
	ZHAO J H， LIU J Y， SHI H. A VMD based fault diagnosis method for automotive rolling bearings［J］. China Science and Technology Information， 2025（6）： 61⁃65.
[2]	马坤，刘广璞，黄晋英，等. 基于小波时频图与MobileViT的滚动轴承故障诊断方法［J］. 机械设计与制造工程， 2025， 54（3）： 93⁃98.
	MA K， LIU G P， HUANG J Y， et al. A fault diagnosis method of rolling bearing based on wavelet time⁃frequency diagram and MobileViT［J］. Machine Design and Manufacturing Engineering， 2025， 54（3）： 93⁃98.
[3]	高佳，王艳红，张俊，等. 基于多元信号自适应分解的轴承故障诊断方法［J］. 控制与决策， 2025， 40（7）： 2233⁃2241.
	GAO J， WANG Y H， ZHANG J， et al. Bearing fault diagnosis method based on adaptive decomposition of multivariate signals［J］. Control and Decision， 2025， 40（7）： 2233⁃2241.
[4]	王英杰，朱景建，龚智强，等. 基于DAE⁃BiLSTM⁃CNN的滚动轴承故障诊断方法［J］. 机械设计， 2024， 41（11）： 123⁃129.
	WANG Y J， ZHU J J， GONG Z Q， et al. Method of fault diagnosis for rolling bearings based on DAE⁃BiLSTM⁃CNN［J］. Journal of Machine Design， 2024， 41（11）： 123⁃129.
[5]	冯志刚，王宇，王颖，等. 基于动态残差注意力和LSTM的跨工况滚动轴承故障诊断［J/OL］. 吉林大学学报（工学版）： 1⁃9 （2024⁃10⁃30）［2025⁃04⁃02］. https：//doi.org/10.13229/j.cnki.jdxbgxb.20240878.
	FENG Z G， WANG Y， WANG Y， et al. Fault diagnosis of cross condition rolling bearings based on dynamic residual attention and LSTM［J/OL］. Journal of Jilin University（Engineering and Technology Edition）： 1⁃9 （2024⁃10⁃30）［2025⁃04⁃02］. https：//doi.org/10.13229/j.cnki.jdxbgxb.20240878.
[6]	王小宇，贺鸿鹏，马成龙，等. 基于多模态神经网络流量特征的网络应用层DDoS攻击检测方法［J］. 沈阳农业大学学报， 2024， 55（3）： 354⁃362.
	WANG X Y， HE H P， MA C L， et al. Application layer DDoS attack detection method based on multimodal neural network traffic characteristics［J］. Journal of Shenyang Agricultural University， 2024， 55（3）： 354⁃362.
[7]	李婷玉，苏宏伟，胡青宁，等. 基于图卷积神经网络的石油数据资产知识图谱实体对齐方法［J］. 东北石油大学学报， 2023， 47（3）： 79⁃88.
	LI T Y， SU H W， HU Q N， et al. Entity alignment method of petroleum data assets knowledge graph based on GCN［J］. Journal of Northeast Petroleum University， 2023， 47（3）： 79⁃88.
[8]	张利，张凯鑫，王溟晗，等. 双向LSTM融合多尺度卷积的轴承亚健康识别算法［J］. 辽宁大学学报（自然科学版）， 2022， 49（3）： 193⁃204.
	ZHANG L， ZHANG K X， WANG M H， et al. Bearing sub⁃health recognition algorithm of Bi⁃LSTM fusion multi⁃scale convolution［J］. Journal of Liaoning University （Natural Science Edition）， 2022， 49（3）： 193⁃204.
[9]	WANG Y. Fault diagnosis of rolling bearings based on LSTM and wavelet packet decomposition［J］. Measurement， 2021， 173： 108589.
[10]	ZHANG L. A noise⁃resistant LSTM network for fault diagnosis of rolling bearings［J］. IEEE Transactions Industrial Informatics， 2022， 18（5）： 3216⁃3225.
[11]	王松. 物理约束与数据驱动融合的电泵井故障诊断预警研究［D］. 北京：中国石油大学（北京）， 2022.
[12]	郑近德，潘海洋，程军圣，等. 基于自适应经验傅里叶分解的机械故障诊断方法［J］. 机械工程学报， 2020， 56（9）： 125⁃136.
	ZHENG J D， PAN H Y， CHENG J S， et al. Adaptive empirical fourier decomposition based mechanical fault diagnosis method［J］. Journal of Mechanical Engineering， 2020， 56（9）： 125⁃136.
[13]	梁山，齐兵，李浩，等. 基于LCLSABO⁃KELM滚动轴承故障诊断方法研究［J］. 制造技术与机床， 2025（2）： 17⁃22.
	LIANG S， QI B， LI H， et al. Research on fault diagnosis method of rolling bearing based on LCLSABO⁃KELM［J］. Manufacturing Technology & Machine Tool， 2025（2）： 17⁃22.
[14]	杨远鹏，陈志刚，余志红，等. 基于WOA⁃VMD与PSO⁃SVM的滚动轴承故障诊断［J］. 制造技术与机床， 2025（2）： 23⁃29.
	YANG Y P， CHEN Z G， YU Z H， et al. Fault diagnosis of rolling bearings based on WOA⁃VMD and PSO⁃SVM［J］. Manufacturing Technology & Machine Tool， 2025（2）： 23⁃29.
[15]	陈宇，程道来，马向华，等. 基于WDCNN⁃LSTM混合模型的滚动轴承故障诊断［J］. 机械与电子， 2025， 43（2）： 9⁃15.
	CHEN Y， CHENG D L， MA X H， et al. Fault diagnosis of rolling bearing based on WDCNN⁃LSTM hybrid model［J］. Machinery & Electronics， 2025， 43（2）： 9⁃15.
[16]	刘馨雅，马超，黄民，等. 利用WDCNN⁃GRU模型的变转速轴承故障诊断技术研究［J］. 组合机床与自动化加工技术， 2025（1）： 138⁃142.
	LIU X Y， MA C， HUANG M， et al. Variable speed bearings using wide convolutional kernel gated recurrent hybrid networks fault diagnosis technique research［J］. Modular Machine Tool & Automatic Manufacturing Technique， 2025（1）： 138⁃142.
[17]	LIU Z M， WANG Y X， VAIDYA S， et al. KAN： Kolmogorov⁃arnold networks［EB/OL］. （2025⁃02⁃09）［2025⁃04⁃02］. https：//arxiv.org/abs/2404.19756.
[18]	HOCHREITER S， SCHMIDHUBER J. Long short⁃term memory［J］. Neural Computation， 1997， 9（8）： 1735⁃1780.
[19]	GERS F A， SCHMIDHUBER J， CUMMINS F. Learning to forget： Continual prediction with LSTM［J］. Neural Computation， 2000， 12（10）： 2451⁃2471.
[20]	KOLMOGOROV A N. On the representation of continuous functions of several variables by superposition of continuous functions of one variable and addition［J］. Doklady Akademii Nauk SSSR， 1957， 114（5）： 953⁃956.
[21]	DEVLIN J， CHANG M W， LEE K， et al. BERT： Pre⁃training of deep bidirectional transformers for language understanding［C］//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Minneapolis： Association for Computational Linguistics， 2019： 4171⁃4186.
[22]	HERTZ H. Über die berührung fester elastischer körper［J］. Journal für Die Reine und Angewandte Mathematik， 1881， 92： 156⁃171.
[23]	LI X， WANG P， LIU Y， et al. Rolling bearing fault diagnosis with hertzian contact constraints： A deep learning approach［J］. Mechanical Systems and Signal Processing， 2023， 190： 110045.
[24]	ZHANG H， LIU Z， CHEN G， et al. Fusion of hertz contact model and vibration analysis for gear wear fault detection［J］. IEEE Transactions on Instrumentation and Measurement， 2022， 71： 1⁃12.