[发明专利]文本分类方法及装置

说明书

本发明提供一种文本分类方法及装置，涉及自然语言处理领域。该方法包括：获取待分类文本；根据待分类文本的词语信息以及预设模型，获取待分类文本的词向量，根据词向量及预测算法，获取待分类文本的文本向量；采用双向长短记忆网络LSTM模型训练序列信息，预测词语信息与列信息的关联关系；整合文本向量与序列信息的关联关系，并将整合后的文本向量与序列信息的关联关系输入至预设分类模型中，得到文本的类别。通过在序列信息中使用双向LSTM模型预设在序列信息中计算当前文本序列出现的概率，同时结合文本向量，可精准预测待分类文本的语义特征和序列特征，将语义特征与序列特征整合后输入至分类器，可得待分类文本的精准分类。

技术领域

本发明涉及自然语言处理技术领域，具体而言，涉及一种文本分类方法及装置。

背景技术

在自然语言处理领域(Natura Language Processing，NLP)中，通过文本分类可以帮助用户高效的管理文本数据，以及为文本挖掘提供基础支撑，例如，新闻的分类排版、档案的分类管理、搜索引擎的信息检索、问答系统的答案搜寻等。

现有技术中，基于规则的文本分类表示通常有向量空间模型(Vector SpaceModel，VSM)、主题模型和深度学习的语言模型三种类型。其中，VSM模型以词语为基础，得到文本的分类信息，一般适用于长文本数据；主题模型通过学习浅层的文本语义信息得到文本的分类信息；深度学习的语言模型可以自动化的学习文本特征表示。

但是，VSM模型一般会丢失部分语义信息和序列信息。主题模型只能学习浅层的文本语义信息，得到的语义是模糊的、粗粒度的。深度学习的语言模型文本分类上不具有易用性和可扩展性，即适合短文本分类的不太适合长文本分类，适合长文本分类的又不太适合短文本的分类。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种文本分类方法及装置，以解决现有技术文本分类模型易用性不强，分类不准确中的问题。

为实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种文本分类方法，包括：获取待分类文本，其中，待分类文本包括：词语信息和序列信息，多个词语信息构成所述序列信息；根据待分类文本的词语信息以及预设模型，获取待分类文本的词向量，根据词向量及预设算法，获取待分类文本的文本向量；采用双向长短记忆网络LSTM模型训练序列信息，预测词语信息与序列信息的关联关系，其中，双向LSTM模型包括：前向LSTM模型和后向LSTM模型；整合文本向量与序列信息的关联关系，并将整合后的文本向量与所述序列信息的关联关系输入至预设分类模型中，得到文本的类别。

可选地，采用双向长短记忆网络LSTM模型训练序列信息，预测词语信息与序列信息的关联关系之前，还包括：若序列信息中的词语信息数量小于预设长度，则补充默认数值，得到补充后的序列信息，补充后的序列信息的词语信息数量为预设长度；采用双向LSTM模型训练补充后的序列信息，得到词语信息与补充后的序列信息的关联关系。

可选地，采用双向长短记忆网络LSTM模型训练序列信息，预测所述词语信息与序列信息的关联关系，包括：若序列信息中的词语信息数量大于预设长度，则删除部分词语信息，得到删除后的序列信息，删除后的序列信息的词语信息数量为预设长度；采用双向LSTM模型训练删除后的序列信息，得到词语信息与删除后的序列信息的关联关系。

可选地，采用双向长短记忆网络LSTM模型训练序列信息，得到词语信息与序列信息的关联关系，包括：