[发明专利]基于交叉注意力和自注意力的分类参数分布的故障诊断方法

说明书

本发明公开了基于交叉注意力和自注意力的分类参数分布的故障诊断方法，具体步骤为：S1、对于支持集中的每一个样本x，按照序列关系计算位置权重；S2、计算支持集中的每一个样本x加权位置权重后表示；S3、对x′计算对应的多头自注意力机制对应的Q₁、K₁、V₁；S4、计算基于Q₁、K₁、V₁的注意力；S5、重复步骤4和步骤5；S6、对测试集样本加权位置权重后表示；S7、计算对应的类别预测值。本发明利用多头交叉注意力机制，将支持集中数据作为上下文知识，对测试数据进行知识补充，训练分类器的参数分布，可以有效克服故障数据少带来的问题；并且在解决序列数据问题的同时，兼顾支持集带来的上下文知识，解决小样本故障数据的问题。

技术领域

本发明属于故障诊断领域，更具体地说，尤其涉及基于交叉注意力和自注意力的分类参数分布的故障诊断方法。

背景技术

目前故障诊断中，主流方法是通过主成分分析、线性判别分析等技术，将输入数据进行有效降维，再根据设备的内在控制机理，寻找合适的中间表示，进行故障诊断，随着深度学习在各个领域的成功应用，逐渐有研究者将如LSTM等模型用于故障诊断中，但鲜少有研究者从小样本分析角度考虑故障诊断的建模，实际上在设备长周期运行中，产生故障的机会很少，因此故障信号和正常信号相比，是少之又少的小样本，将机器学习中的小样本技术用到故障诊断领域，是势在必行的趋势，而目前小样本学习中，较少考虑到序列信号的特点，基本的研究还集中在图像等无时序特点的信号上，至今未见将小样本学习框架用于故障诊断领域中，就小样本学习而言，目前主要是针对图像领域的研究，对如故障等序列信号的研究少见，因此，我们提出基于交叉注意力和自注意力的分类参数分布的故障诊断方法。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的基于交叉注意力和自注意力的分类参数分布的故障诊断方法，针对小样本、序列信号等问题，提出一个综合解决方案，通过自注意力机制以及交叉注意力机制，以及合适的位置信息的引入，构建类别参数的分布矩阵，在交叉熵最小原则下，得到更好的分类性能。

为实现上述目的，本发明提供如下技术方案：

基于交叉注意力和自注意力的分类参数分布的故障诊断方法，该故障诊断方法中，输入为：待诊断的故障数据支持集数据，以及网络参数W，其中W包括g网络参数W_g和多头交叉注意力机制中的以及多头自注意力机制

输出：的故障类别诊断结果

该故障诊断方法的具体步骤为：

S1、对于支持集中的每一个样本x，按照序列关系计算位置权重，具体公式为：p_pos＝cos(pos×pi/(2×len))；

S2、计算支持集中的每一个样本x加权位置权重后表示，具体通过公式x′＝x+p_pos来计算；

S3、对x′计算对应的多头自注意力机制对应的Q₁、K₁、V₁，具体计算公式为：

S4、计算基于Q₁、K₁、V₁的注意力，具体计算公式如下：

S5、重复步骤4和步骤5，N次；

S6、对测试集样本加权位置权重后表示如下：

S7、计算对应的类别预测值如下：