[发明专利]一种基于局部与全局互注意力机制的文本分类方法

摘要

本发明公开了一种基于局部与全局互注意力机制的文本分类方法，步骤如下：获取文本数据，并进行预处理，将文本单词用预训练的词向量进行表示；利用长短期记忆网络捕获文本序列的全局长期依赖，利用多尺度卷积神经网络获取文本序列的局部语义特征；把全局长期依赖和局部语义特征作为局部与全局互注意力机制的输入，得到加权全局长期依赖和加权局部语义特征；再采用加权池化，得到最终的全局表示向量和局部表示向量；输入到全连接层融合全局表示向量和局部表示向量，再输入到分类层，进行分类。本发明并行地捕获全局长期依赖和局部语义特征，显式地学习这两种特征之间的交互，从而得到更好的文本全局和局部特征表示，进一步提高文本分类的精度。

主权项

1.一种基于局部与全局互注意力机制的文本分类方法，其特征在于，所述的文本分类方法包括以下步骤：S1、获取文本数据集，对数据进行预处理，把文本序列的每个单词映射为词向量；S2、使用双向长短期记忆网络来捕获文本序列的全局长期依赖，同时，使用多尺度卷积神经网络提取文本序列的局部语义特征；S3、构建一种局部与全局互注意力机制，使用步骤S2中提取的全局长期依赖和每个位置的局部语义特征作为输入，用局部语义特征关注全局长期依赖产生局部指导的全局注意力权重，进行加权得到加权全局特征，用全局长期依赖关注局部语义特征产生全局指导的局部注意力权重，进行加权得到加权局部特征；S4、使用上述的加权全局特征和加权局部特征，随时间步加权池化，产生最终的全局表示向量和局部表示向量；S5、拼接上述的全局表示向量和局部表示向量，输入全连接层，再输入softmax层进行分类。