[发明专利]基于层次性多注意力网络的文档分类方法

说明书

本发明公开了一种基于层次性多注意力网络的文档分类方法，包括步骤：利用Bi‑GRU序列模型来对文档进行从词到句，句到文档建模；利用Bi‑GRU序列模型对每个词语进行编码，获取句子中的上下文信息，采用Soft attention来对每个词语进行注意力权重的分配；对于句子到文档这个过程，本发明引入CNN attention，利用CNN模型获取窗口内句子之间的局部相关特征，从而进一步得到每个句子的注意力权重。本发明能够根据文档特点从词到句，句到文档进行建模，充分考虑文档的层次性结构。同时，针对词语和句子级别，本发明分别采用不同的注意力机制来适当地对相关的内容进行权重的分配，从而提高文档分类的准确率。

技术领域

本发明属于自然语言处理技术与情感分析领域，具体地说是一种基于层次性多注意力网络的文档分类方法。

背景技术

文本分类是自然语言处理领域的重要课题之一。随着数据量以及硬件运算能力的不断提升，文本分类的理论与方法所发挥作用日益增大，受到广泛关注。早期文本分类研究主要是基于知识工程体系的方法，需要某领域的专家们为该领域的文本定制分类规则，但是这种方法需要大量的人力对规则的扩充或修改作大量的维护工作。后来随着机器学习技术的发展，基于机器学习的文本分类方法逐渐兴起，成为主流的研究方向。该类方法要求将文本映射到向量空间中进行有监督的训练后，从而利用训练好的分类器对未分类文本进行分类，但是在此过程中需要对大量的特征进行人工设计，而且这些方法都属于浅层学习模型，泛化能力也在一定程度上受到制约。

因此，为了解决传统模型需要人工设计特征的难题，自动抽象出高级特征，克服浅层学习模型的缺陷，近年来越来越多的文本分类研究方法都使用了深度神经网络，例如Kim和Kalchbrenner等人利用卷积神经网络(Convolutional Neural Network,CNN)来对文本进行建模。Longpre等人利用长短期记忆网络(Long-Short Term Memory,LSTM)及其变体解决文本情感分类的问题。Yu等人将多种深度学习模型应用于跨领域的文本情感分析任务。这些应用于文本分类的深度学习方法比起以往传统的浅层模型均获得较好的效果。

最近几年，注意力机制(Attention Mechanism)广泛被应用于文本分类任务当中，其原理借鉴了人类的选择性视觉注意力机制，目的是从众多信息中选择出对当前任务目标更关键的信息。而对于文本分类任务而言，并非文本内所有的部分对于分类任务都有着相同的贡献，因此引入注意力机制使得模型在处理数据时能将重心定位在对当前任务更加重要的信息上。

近年来，随着互联网的迅猛发展，在线文档信息迅速增加，如何有效地挖掘，利用海量文档信息成为了文本分类任务的一个关键点，因此本文致力于文本分类任务当中文档分类方法的研究。上文我们提到许多经典的模型，它们在许多文本分类问题上取得了显著的效果，然而，对于文档分类而言，这些模型仍然存在着以下问题：1、忽略了文档构成时从词到句，句到文档的层次性结构信息,直接将各个词向量作为深度网络的输入；2、采用单一的注意力机制决定文档中各部分的贡献权重，并没有充分考虑从词到句，句到文档两部分的组成特点，无法有效的利用文档内部结构信息。