[发明专利]一种时空注意力网络的非线性动态工业过程产品预测方法

权利要求书

1.一种基于空间和时间注意力的长短期记忆网络对工业非线性动态过程产品质量预测方法，其特征在于，包括以下步骤：

S1.基于生产过程，通过机理分析和专家知识，选取对质量变量产生影响的若干变量作为输入变量，等时间间隔对所述的输入变量和相应的质量变量连续均匀采样若干次，得到输入变量与相应的质量变量的时间序列原始数据集记为(X,Y)；

其中T₁为采集样本次数，1≤t≤T₁；

S2.对采样的原始数据集进行离差标准化：

对步骤S1所述的数据进行离差标准化：

其中x_min为样本数据的最小值，x_max为样本数据的最大值；

则得到新的数据集记为作为训练集：

其中，n为输入变量的数量，

S3.构建和训练模型

S31.对输入样本进行编码：

利用空间注意力机制对训练集中每个样本计算输入变量和质量变量之间的相关性，并为每个输入变量分配相应的注意力权值，得到新的加权输入样本；利用长短期记忆网络对输入样本提取隐层的特征；

S32.对隐藏层的状态进行解码：

利用时间注意力机制通过计算各个时刻隐藏层状态和当前输出之间的相关性，为各个时刻的隐含状态分配不同的注意力权重并计算加权和作为当前质量变量的预测输入，最后通过一个非线性长短期记忆网络单元得到当前时刻的质量变量的预测值；

S33.确定网络的参数和超参数，训练基于空间和时间注意力的长短期记忆网络：

计算模型的损失函数MSE：

利用误差反向传播算法和Adam算法更新网络参数，在达到最大迭代次数R后停止模型的训练；

S4.实时采集输入变量值，利用训练完成的模型，计算质量变量的预测值：

其中，是解码过程的长短期记忆网络的t-1时刻的隐层输出；c_(t)是时间注意力机制的输出；f_l(*)表示一个长短期记忆单元；V和b_v为网络学习到的权值和偏置。

2.根据权利要求1所述的基于空间和时间注意力的长短期记忆网络对工业非线性动态过程产品质量预测的方法，其特征在于：所述的步骤S31具体处理如下：

利用空间注意力机制对新的数据集中每个样本计算输入变量和质量变量之间的相关性：

其中s_(t-1)为解码输出的隐状态，V₁ⁱ,W₁ⁱ,U₁ⁱ为注意力网络权重矩阵，为偏置向量；

对计算出的变量注意力值进行归一化：

得到空间注意力机制的最终输出为：

利用长短期神经网络单元通过前向传播算法得到隐层状态：

遗忘门：

输入门：

输出门：

中间状态输入：

其中w_*x，w_*h分别表示当前时刻输入前一时刻的隐状态h_(t-1)与长短期记忆细胞单元中三个控制门以及中间状态的转换矩阵，b_*表示三个控制门和中间状态的偏置量；

当前时刻的细胞状态和隐藏层输出分别为：

h_(t)＝o_(t)⊙tanh(m_(t))。