[发明专利]一种基于局部与全局互注意力机制的文本分类方法

说明书

本发明公开了一种基于局部与全局互注意力机制的文本分类方法，步骤如下：获取文本数据，并进行预处理，将文本单词用预训练的词向量进行表示；利用长短期记忆网络捕获文本序列的全局长期依赖，利用多尺度卷积神经网络获取文本序列的局部语义特征；把全局长期依赖和局部语义特征作为局部与全局互注意力机制的输入，得到加权全局长期依赖和加权局部语义特征；再采用加权池化，得到最终的全局表示向量和局部表示向量；输入到全连接层融合全局表示向量和局部表示向量，再输入到分类层，进行分类。本发明并行地捕获全局长期依赖和局部语义特征，显式地学习这两种特征之间的交互，从而得到更好的文本全局和局部特征表示，进一步提高文本分类的精度。

技术领域

本发明涉及文本分类技术领域，具体涉及一种基于局部与全局互注意力机制的文本分类方法。

背景技术

文本分类是自然语言处理中的一个基本问题，需要将一个或多个预定类别分配给一个文本序列。文本分类的核心是学习一个序列表示，来处理情感分析，问题分类和主题分类等等问题。

目前，学习一个序列表示，常用的方法是建模序列的长期依赖表示或序列的局部语义特征。卷积神经网络通过卷积核，可以比较好地提取文本序列的局部语义特征。Y.Kim提出了一个多通道卷积神经网络，使用了来自word2vec的静态词向量和在文本分类任务中微调的词向量，可以进一步提高分类准确性。虽然基于卷积神经网络的模型有利于从序列数据中学习局部响应，但它缺乏学习序列整体联系的能力。循环神经网络适用于建模序列表示以及序列的长期依赖，因此许多用于文本分类任务的循环神经网络变体被提出。Z.Yang等人提出了层次注意力模型，将注意力机制引入分层门控循环单元，使模型能够更好地捕获文档的重要信息。然而，循环神经网络中的信息是随时间步逐渐累积的，信息没有跳跃的连接，很难得到复杂的语义特征，使分类效果下降。

近期，一些研究者试图将卷积神经网络和循环神经网络的优势结合起来，利用它们来提取全局长期依赖和局部语义特征。C.Zhou等人提出了C-LSTM，利用卷积神经网络提取高层的短语表示，将其输入长短期记忆网络以获得句子表示。C-LSTM能够捕获全局长期依赖和局部语义特征，但这两种信息以级联方式连接，级联方式使模型变深，容易导致梯度消失问题。并且，这种方法没有尝试学习两种信息之间的相互作用。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于局部与全局互注意力机制的文本分类方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于局部与全局互注意力机制的文本分类方法，所述的文本分类方法包括以下步骤：

S1、获取文本数据集，对数据进行预处理，把本文序列的每个单词映射为词向量；

S2、使用双向长短期记忆网络来捕获文本序列的全局长期依赖，同时，使用多尺度卷积神经网络提取文本序列的局部语义特征；

S3、构建一种局部与全局互注意力机制，使用步骤S2中提取的全局长期依赖和每个位置的局部语义特征作为输入，用局部语义特征关注全局长期依赖产生局部指导的全局注意力权重，进行加权得到加权全局特征，用全局长期依赖关注局部语义特征产生全局指导的局部注意力权重，进行加权得到加权局部特征；

S4、使用步骤S3中得到的加权全局特征和加权局部特征，随时间步加权池化，产生最终的全局表示向量和局部表示向量；

S5、拼接步骤S4中得到的全局表示向量和局部表示向量，输入全连接层，再输入softmax层进行分类。

进一步地，所述的步骤S2中并行提取文本序列的全局长期依赖和局部语义特征，过程如下：

S2.1、使用双向长短期记忆网络提取全局长期依赖，在时间步t，单个方向的隐藏层状态h_t更新如下：