[发明专利]一种防止数据信息丢失的DGRU神经网络及其预测方法

说明书

本发明涉及信息技术领域，特别涉及一种防止数据信息丢失的DGRU神经网络及其预测方法。本发明中的DGRU神经网络由输入层、输出层和隐含层组成，隐含层由DGRU神经元构成；所述的DGRU神经元由同一时刻的两个标准GRU单元连接构成；本发明方法包括:获取历史数据集并进行预处理；利用预处理后的数据集训练DGRU神经网络，建立预测模型；获取当前失效数据，进行数据归一化处理后输入预测模型中，得到预测结果三个部分。本发明克服了传统GRU神经网络的缺点，对GRU神经网络进行改进，提出一种能增强模型记忆力，防止信息丢失的DGRU神经网络，并应用DGRU神经网路建立预测模型，与传统GRU神经网络相比，可以提高模型的预测精度。

技术领域

本发明涉及信息技术领域，特别涉及一种防止数据信息丢失的DGRU神经网络及其预测方法。

背景技术

循环神经网络(Recurrent Neural Networks,RNN)是人工神经网络的一个重要分支。它在隐含层引入了反馈机制,实现对序列数据的有效处理。循环神经网络具有存储和处理上下文信息的强大能力，成为语音识别、自然语言处理、计算机视觉等领域的研究热点之一。一方面，循环神经网络普遍采用S型函数作为激活函数,而S型函数的饱和区限制了RNN训练收敛速度，因此对激活函数的优化研究成为研究热点；另一方面，循环神经网络主要采用软件实现的方式,算法的硬件加速研究具有重要意义。长短时记忆单元(Long Short-Term Memory, LSTM)特有的门结构解决了传统循环神经网络时间维度的梯度消失问题，成为RNN结构的重要组成部分。

门控循环单元(GRU)神经网络针对LSTM结构进行改进，是近几年取得重大突破的网络模型，使用了更新门与遗忘门，解决了传统循环神经网络梯度消失问题。更新门和遗忘门这两个门控向量决定了哪些信息最终能作为门控循环单元的输出，存储并过滤信息，能够保存长期序列中的信息，且不会随时间而清除或因为与预测不相关而移除。更新门帮助模型决定到底要将多少过去的信息传递到未来，或到底前一时间步和当前时间步的信息有多少需要继续传递，遗忘门主要决定了到底有多少过去的信息需要遗忘。但是GRU在过滤过程中会出现重要信息丢失情况，会降低模型的预测能力。

发明内容

本发明的目的是为了提供一种防止数据信息丢失的DGRU神经网络。

本发明的目的是这样实现的：

一种防止数据信息丢失的DGRU神经网络，所述的DGRU神经网络由输入层、输出层和隐含层组成，隐含层由DGRU神经元构成；所述的DGRU神经元由同一时刻的两个标准GRU单元连接构成，且t时刻第L+1层隐含单元与第L层隐含单元之间连接的控制门输入的关系为：

其中，为第L+1层隐含单元的输入；W_d表示第L层控制门的权重；表示t-1时刻第L层隐含单元的输出；表示t时刻标准GRU单元的输出。

本发明的目的还在于提供一种基于一种防止数据信息丢失的DGRU神经网络的预测方法。

一种防止数据信息丢失的DGRU神经网络的预测方法，包括以下步骤：

步骤1：获取历史数据集并进行预处理，对数据集进行数据清洗，包括处理数据不平衡问题和归一化问题；

步骤2：利用预处理后的数据集训练DGRU神经网络，建立预测模型；

步骤3：获取当前失效数据，进行数据归一化处理后输入预测模型中，得到预测结果。

所述的步骤1中处理数据不平衡问题具体为：首先分析正负样本比例，其次根据数据集的大小采用不同的采样方法处理，如果数据量较充足，采取欠采样的方法，通过减少样本数据较多的类的数量来平衡数据集；如果数据量较少，采取过采样的方法，通过增加数量较少的类的数量来平衡数据集。