[发明专利]循环神经网络训练方法

说明书

本发明涉及一种循环神经网络训练方法，基于LSTM模型对某系统下数据库指标日频压力进行训练和预测，以期得到未来一段时间内该指标的数据趋势，再通过计算增幅得到该系统下数据库的压力情况，用于判断数据库的风险并作出预警管理；数据库的日频压力指标为加工指标，数据进行缺失值补足的数据预处理；构建完整时序数据集合(X_t，T_t)_n；完成特征组合后，开始对模型进行训练。本发明循环神经网络训练方法，对计算机软件系统内部支持的数据库指标进行数据加工和整理后，采用神经网络类的机器学习方式建模，以求得到对数据库指标在未来时间的预测情况，基于预测结果可以对系统下数据库进行指标性的管理，同时在各种风险下有较强的预警和把控能力。

技术领域

本发明涉及数据自动建模的动态过程监测和生成方法，，具体的说，是涉及一种循环神经网络训练方法。

背景技术

传统的神经网络输入和输出都是相互独立，即输入集和输出集没有相关性，在现实案例中也的确有很多情况下输入集和输出集存在时间或是空间下的关联性。

通过一定的方式，使得在神经网络的训练中能够使得每次训练的输入输出集有一定的联系。基于此，循环神经网络(RNN)创造性地引入了“记忆”概念，通过增加记忆项的方式使得神经网络的训练过程能够在一定程度上为输入输出集提供关系桥梁。

在实际操作中，首先尝试将循环神经网络模型应用于数据库内指标的训练预测。该应用目标为通过预测数据库内指标的数值变化，例如数据库使用空间在天维度的数值，以提供给管理人员在使用空间指标上的容量建议；该应用方式为构建三层神经网络，中间隐藏层为RNN嵌套tan激活函数，RNN层有顺序概念，即输入和输出依照时间顺序排列为(X1,X2,…,Xn)和(O1,O2,…,On)，而每个输出如图所示均由上一个输入构造出的W记忆项和本次输入一同形成，再继续影响下一个输出，由此得名“循环”。

但实际操作中的链式计算方法，可能出现梯度爆炸问题，即记忆项在循环神经网络中叠乘影响而导致最后无法将训练结果收敛。

现有的循环神经网络训练方法无法准确地预测随时间进行变化的数据内容。

发明内容

针对上述现有技术中的不足，本发明提供一种能够较为准确地预测随时间进行变化的数据内容的循环神经网络训练方法。

本发明所采取的技术方案是：

一种循环神经网络训练方法，包括以下步骤：

S1、系统下数据库某指标准备，与时序类关联指标一同构建为特征集X＝(X₁,X₂,…,X_n)，其中X_i＝(W_i,R1_i,…,Rk_i)分别为第i天时刻的目标数据库指标周平均特征值和第i天的k个关联指标值；

S2、根据目标指标数值构建结果集Y＝(Y₁,Y₂,…,Y_n)，其中Y_i＝(T_i)为第i天时刻的目标数据库指标值；

S3、组合特征集与结果集得到数据集S＝((X1,Y1),…,(Xn,Yn))，并将其以8:2比例顺序划分为训练集与测试集；

同时对所有数据进行数据补全、异常清洗和归一化处理；

S4、构造含有LSTM层的神经网络模型，为模型超参数包括学习率a、隐藏层内连接维度数、防止过拟合系数等设值，设值方法采用随机搜索；

S5、以当前超参数的模型对各层内参数进行初始化，包括LSTM层中遗忘项、输入项、状态项系数(W,b)和dense层中全连接系数(W,b)，方法采用(0,1)高斯分布下的随机；