[发明专利]基于二维稳健LSTM的聚合反应过程质量预测方法

权利要求书

1.基于二维稳健LSTM的聚合反应过程质量预测方法，其特征在于，包括以下步骤：

(1)获取聚乙烯工业生产过程变量数据集：

获取聚乙烯工业生产过程变量，过程变量数据集包括输入变量和输出变量，取聚乙烯生产过程中的一个反应器内的一组变量为输入变量，该反应器的产品质量变量记为MI，取MI为输出变量；

(2)数据集的预处理、数据重构及数据集划分：

对步骤(1)中获取的聚乙烯工业生产过程变量数据集进行数据标准化处理，使其变成无量纲数据集，然后，将数据集进行重构，最后将重构后的无量纲数据集按设定比例划分为训练集和测试集；

(3)建立MCC-CNN-LSTM神经网络模型并训练：

建立基于最大相关熵准则MCC的CNN-LSTM融合的神经网络，将训练集输入所建立的MCC-CNN-LSTM神经网络进行训练；

(4)对MCC-CNN-LSTM神经网络训练所建立的模型进行性能评估：

将聚乙烯工业生产数据集送入软测量模型中进行训练预测评估；采用均方根误差RMSE与最大绝对误差MAE作为评价指标对模型进行评估，验证MCC-CNN-LSTM神经网络的性能。

2.如权利要求1所述的基于二维稳健LSTM的聚合反应过程质量预测方法，其特征在于，所述步骤(2)的具体过程如下：

步骤2.1：为消除过程变量之间因量纲带来的差异性，对数据进行归一化处理，公式如下：

其中：x′为标准化处理后的数据集，x为所采集的原始数据集；x_min为原始过程变量数据的最小值，x_max为原始过程变量数据的最大值；

步骤2.2：归一化处理后，将时间序列数据进行重构，重构后的输入矩阵如下所示：

式中：X_t是重构后的输入矩阵数据，q的上标数字代表不同的过程变量，t表示时间间隔，M代表滑动窗口；

步骤2.3：数据重构后将数据集划分为测试集与训练集；

3.如权利要求1或2所述的基于二维稳健LSTM的聚合反应过程质量预测方法，其特征在于，所述步骤(3)的具体过程如下：

步骤3.1：建立MCC-CNN-LSTM神经网络：

针对CNN-LSTM模型，以X＝[x_T+1,x₂,…,x_T+M]^T∈R^M×N表示模型的输入矩阵，其中x代表每个时间间隔的特征向量，下标T代表时间，M代表时间序列的长度，N代表时间序列的特征个数；输入数据第d次卷积运算公式为：

p_d＝f_d(X⊙W_d+b_d)

其中：⊙为卷积运算，卷积核W_d∈R^J×N是权值向量，其中J为卷积核尺寸，即提取时间序列特征的时间窗宽度，b_d为该层的偏置项，f_d(·)表示卷积层激活函数，p_d为卷积核的特征映射矩阵；

通过L个过滤器得到多个特征为P＝[p₁,p₂,…,p_L]，池化层的作用就是对输入特征进行降采样，同时对众多特征进行过滤筛选，强化部分显著特征；最大池化层具体公式如下：

G＝maxpooling(P)

其中：G＝[g₁,g₂…g_D]^T∈R^D×F为全局最大池化后的新构成的时间序列矩阵，D代表新生成的时间序列的长度，F代表时间序列的特征个数，maxpooling为最大池化操作；

池化后新构成的时间序列矩阵G作为LSTM层的输入矩阵，三个门的具体计算如下所示：

f_t＝σ₂(W_fxg_t+W_fhh_t-1+b_f)

i_t＝σ₂(W_ixg_t+W_ihh_t-1+b_i)

o_t＝σ₂(W_oxg_t+W_ohh_t-1+b_o)

其中f_t、i_t、o_t分别为遗忘门、输入门与输出门，σ₂为非线性激活函数，sigmoid函数用作门的激活函数，g_t与h_t-1分别表示采样时刻t的输入向量、和采样时刻t-1的隐藏向量；式中，b_f、b_i、b_o为相应门单元的偏置项，W_fx、W_fh、W_ix、W_ih、W_ox、W_oh对应门单元的连接权值；

在长短期记忆LSTM神经网络内部，生成一个中间状态C_(t)为：

C_t＝tanh(W_cxg_t+W_chh_t-1+b_c)

其中，tanh表示非线性tanh激活函数，W_cx、W_ch为中间状态的连接权值，用于表示Hadamard乘积；

CNN-LSTM最终的输出y_t表示为：

y_t＝L(Vh_t+b_l)

其中L(·)代表预测函数的映射，V与b_l分别代表对应的连接权重与偏置项；

相关熵用于信号除噪场景，其能够处理非高斯噪声和脉冲噪声；相关熵定义为描述两个随机变量Q和R之间的局部相似度，表示为：

其中：为两个随机变量Q和R之间的局部相似度，是一个核函数，E(·)是一个求期望运算；

根据相关熵的定义，最大相关熵准则MCC定义为：

其中，e_i是系统在监督学习过程中产生的误差，即代表预测值，y_i代表真实值，B代表样本数，w是一组可调整的模型参数；

在CNN-LSTM的模型优化策略中，最大相关熵准则MCC构建以高斯核函数为核心的损失函数，取代常用的损失函数MSE来增加模型的鲁棒性，并通过Adam优化算法进行模型参数求解；对MCC准则进行等效转化为求最小值问题，即目标函数f(w)，如下所示：

其中σ₁代表内核宽度；

过程构建了CNN-LSTM神经网络，整个网络采用最大相关熵准则MCC作为损失函数进行训练；

步骤3.2：网络结构及参数设置

MCC-CNN-LSTM神经网络结构由输入层，两层卷积层、最大池化层、长短期记忆LSTM层与全连接层构成；通过网格选择的方式确定时间窗口大小，内核参数宽度，并采用自适应矩估计算法优化器对网络参数进行训练；为防止模型过拟合，在MCC-CNN-LSTM神经网络中添加dropout层；

步骤3.3：利用自适应矩估计算法训练模型

利用自适应矩估计算法优化模型参数，首先定义α表示初始学习率，它控制参数的更新比率，定义较大的值在更新过程中会有更快的更新速度，网络会更快的收敛，而定义较小的值时参数的更新速度会相应变慢，但网络会收敛到更好的性能；定义β₁表示一阶矩估计指数衰减率；定义β₂表示二阶矩估计指数衰减率；定义m表示梯度的一阶矩；定义n表示梯度的二阶矩；定义t表示时间步；自适应矩估计算法的优化流程可归纳如下：

1)初始化相关参数：在0时刻，令α＝0.001，β₁＝0.9，β₂＝0.999，m＝0，n＝0，不断优化θ，直到目标函数f(θ)满足求解要求；

2)更新一阶矩和二阶矩：在任意时刻，只要目标函数f(θ)不满足求解要求，就会在下一时刻更新一阶矩和二阶矩，具体过程如下：

其中：g_t是t时刻权值的梯度，是求梯度符号，θ_t-1是t-1时刻的权值矩阵；

m_t＝β₁·m_t-1+(1-β₁)·g_t

上面两个式子分别对一阶矩和二阶矩进行更新；

上面两个式子分别对一阶矩和二阶矩进行偏差校正；其中：和分别是校正后的一阶矩和二阶矩；

3)更新网络参数：具体过程如下所示：

其中：θ_t是t时刻更新后的权值矩阵，θ_t-1是t-1时刻待更新的权值矩阵，同时为了避免分母为零，令参数ε＝10^-8；

若θ_t满足求解要求，则停止优化并输出结果，否则跳回2)继续优化。

4.如权利要求1或2所述的基于二维稳健LSTM的聚合反应过程质量预测方法，其特征在于，所述步骤(4)的过程为：

MCC-CNN-LSTM网络模型经过训练后对其进行性能评估，满足要求后才能使用；评估指标采用均方根误差RMSE与最大绝对误差MAE，计算公式如下：

其中：为软测量模型预测值，y_i为目标域测试集真实值，B_test为测试集的样本数。