[发明专利]建立文本分类模型以及文本分类的方法、装置

说明书

本发明提供一种建立文本分类模型与文本分类的方法、装置，建立方法包括：获取训练样本；基于实体词典对文本进行切词后获取对应的向量矩阵；利用文本的向量矩阵以及文本的分类，训练第一分类模型和第二分类模型；在训练过程中，利用第一分类模型与第二分类模型的损失函数得到文本分类模型的损失函数，并利用文本分类模型的损失函数对第一和第二分类模型调整参数，得到由第一和第二分类模型构成的文本分类模型。文本分类的方法包括：获取待分类的文本；基于实体词典对文本进行切词后获取文本对应的向量矩阵；将向量矩阵输入文本分类模型，根据文本分类模型的输出，得到该文本的分类结果。通过本发明所提供的技术方案，能够提高文本分类的效果。

【技术领域】

本发明涉及自然语言处理技术，尤其涉及一种建立文本分类模型以及文本分类的方法、装置。

【背景技术】

在互联网时代，文本自动分类的方法应用于互联网领域的各个方面，包括网页分类、微博情感分析、用户评论挖掘等。目前，文本分类在广泛领域的精度已经达到很高的程度，但是在垂直领域的分类仍具有一定的缺陷，例如医疗领域、法律领域、科技领域等。现有技术通常采用单一模型对文本进行分类，已有的模型各有优缺点，例如对短文本分类效果不好、鲁棒性和泛化性能不佳，等等。因此将单一模型应用于垂直领域的文本分类往往无法达到很好的分类效果。

【发明内容】

有鉴于此，本发明提供了一种建立文本分类模型以及文本分类的方法和装置，用于提高文本分类的效果。

本发明为解决技术问题所采用的技术方案是提供一种建立文本分类模型的方法，所述方法包括：获取训练样本，所述训练样本包括：文本及其对应的分类；基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵；利用所述文本对应的向量矩阵以及所述文本的分类，分别训练第一分类模型和第二分类模型；在所述训练过程中，利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数，并利用文本分类模型的损失函数对所述第一分类模型和第二分类模型进行参数调整，得到由第一分类模型和第二分类模型构成的文本分类模型。

根据本发明一优选实施例，所述文本分类模型用于医疗文本的分类。

根据本发明一优选实施例，所述第一分类模型和第二分类模型的训练目标为最小化所述文本分类模型的损失函数。

根据本发明一优选实施例，所述第一分类模型为基于概率的分类模型.

根据本发明一优选实施例，所述第一分类模型包括基于双向长度记忆单元和卷积神经网络组合的分类模型。

根据本发明一优选实施例，训练第一分类模型包括：将所述文本作为输入，所述文本的分类作为输出，训练第一分类模型。

根据本发明一优选实施例，所述第二分类模型为基于相似度的分类模型。

根据本发明一优选实施例，所述第二分类模型包括基于深度神经网络的分类模型。

根据本发明一优选实施例，训练第二分类模型包括：将所述文本以及与该文本的分类对应的专家数据作为输入，将文本与专家数据的相似度作为输出，训练第二分类模型。

根据本发明一优选实施例，所述利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数包括：使用预设组合形式，对第一分类模型的损失函数以及第二分类模型的损失函数进行整合，得到文本分类模型的损失函数。