[发明专利]一种结合标题与正文注意力机制的文本分类方法

摘要

本发明公开了一种结合标题与正文注意力机制的文本分类方法。首先对每篇文档的标题与正文进行分词预处理，得到标题词集合和正文词集合；采用word2vec的CBOW模型训练词向量，用双向循环神经网络学习每个词结合上下文语义的表示，通过串联词向量及其左右上下文的表示，得到一个词的潜在语义向量；分别将标题词集合及正文词集合中每个词的潜在语义向量进行最大池化处理，得到标题向量及正文向量；使用标题与正文注意力机制，得到注意力向量；在计算整篇文档的向量表示后，通过soft max函数输出概率预测文本的类别。本发明解决了现有的带有标题的文本分类时忽略标题内容的重要性，把标题当作正文的一部分或忽略标题信息，导致分类结果准确度低的问题。

主权项

1.一种结合标题与正文注意力机制的文本分类方法，其特征在于包括以下步骤：步骤1:对每篇文档的标题与正文进行分词预处理，得到标题词集合和正文词集合；步骤2:采用词向量训练模型训练标题词集合和正文词集合向量，得到每一个词的分布式表示；步骤3:通过双向循环神经网络捕捉每个词的上下文语义，得到每个词的左侧上下文向量和右侧上下文向量；步骤4:将每个词的左上下文向量、词向量、右上下文向量串联，得到每个词结合上下文语义的表示，对词义的表示应用线性变换并使用tanh激活函数获得这个词的潜在语义向量；步骤5:分别把标题词集合及正文词集合中各个词的潜在语义向量进行最大池化处理，得到标题向量及正文向量；步骤6:应用标题与正文注意力机制得到每篇文档的注意力向量，代表标题以及正文的权重；步骤7:计算整篇文本的向量表示，使用soft max函数输出概率来预测文本的类别。