[发明专利]学习长时依赖和分层结构的文本分类模型、方法及介质

说明书

本发明提供了一种学习长时依赖和分层结构的文本分类模型、方法及介质，包括：密集连接循环神经网络模块：在循环神经网络中引入密集连接，在不同的时间步之间建立连接，使得每个循环单元可以直接连接到前面的所有的循环单元，再引入密集循环块将时间维度划分成不同的密集循环块，不同的密集循环块之间以循环神经网络的连接方式相连，共享不同密集循环块的参数，获得引入了密集循环块的循环神经网路。本发明基于小波变换和注意力机制，能够有效地提取时间序列数据中蕴藏的时域‑频域特征，融合时间序列本身的全局的长期趋势特征，能够有效地提高时间序列预测精度。

技术领域

本发明涉及文本分类技术领域，具体地，涉及学习长时依赖和分层结构的文本分类模型、方法及介质。尤其地，涉及基于密集神经网络连接、循环神经块和分层多尺度更新机制，更好地学习文本中的长期依赖和分层结构，从而提高文本分类的准确率。

背景技术

在序列模型中，梯度爆炸和梯度消失一直是困扰循环神经网络的问题。在过去的研究中有各种各样的新的架构和方法被提出来解决这一问题。

其中有一系列的研究都在尝试改变RNN单元的内部结构来解决这一问题。例如长短时记忆网络(LSTM)等即是利用门机制来长时间的保存信息，进而更好地学习长时间依赖。相比于传统的RNN，这些模型确实能够学到更长久的依赖并且减轻梯度消失的问题。

另外有一系列的研究是在各个时间步之间加入跳跃连接(skip connection)，如时钟网络(如Clockwork RNN，DilatedRNN等)。通过直接将很久以前的隐藏状态直接作为当前的输入，可以更好地学习长期依赖。HORNN也是一种在每一步连接到前面很多步的模型。我们的工作与HORNN有以下几点不同：1)HORNN中每一步都连接到相同数目的隐藏状态，而在HM-DenseRNN中的一个密集块中每一步均连接到前面的不同数目的步数。2)我们将密集块通过分层按照不同尺度更新，这样更有利于长时依赖的学习。

此外，我们的研究也跟分层RNN有关。Hierarchical RNNs对不同层采用不同的更新尺度，DilalatedRNN也是如此。我们的模型在不同层也是以不同的尺度更新，只不过我们只是在每一个密集块的最后一步才向上一层传递，进而进一步增加了训练的效率。

专利文献CN109376242A(申请号：201811216633.0)公开了一种基于循环神经网络变体和卷积神经网络的文本分类算法，具体为：步骤1，对数据集SogouC和数据集THUCNews进行预处理，并将两个数据集均分为训练集和测试集，并将各自训练集和测试集中的文本数据均训练为句向量；步骤2，利用步骤1中两个数据集中的训练集中文本建立BGRU-CNN混合模型，步骤3，建立目标函数，采用随机梯度下降方法训练经步骤2建立好的BGRU-CNN混合模型；步骤4，将两个数据集中将测试集的文本句向量输入经步骤3训练好的BGRU-CNN混合模型中，得到分类结果。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种学习长时依赖和分层结构的文本分类模型、方法及介质。

根据本发明提供的一种学习长时依赖和分层结构的文本分类模型，包括：

密集连接循环神经网络模块：在循环神经网络中引入密集连接，在不同的时间步之间建立连接，使得每个循环单元可以直接连接到前面的所有的循环单元，再引入密集循环块将时间维度划分成不同的密集循环块，不同的密集循环块之间以循环神经网络的连接方式相连，共享不同密集循环块的参数，获得引入了密集循环块的循环神经网路；

密集循环神经网络更新模块：根据获得的引入了密集循环块的循环神经网路，再引入分层多尺度更新的结构。

优选地，所述密集连接循环神经网络模块：

密集连接引入模块：在循环神经网络中引入密集连接，在不同的时间步之间建立连接，使得每个循环单元可以直接连接到前面的所有的循环单元；