[发明专利]一种短文本分类方法及装置

说明书

本发明涉及一种短文本分类方法及装置，该方法首先用多个第一预测模型分类预测短文本样本，垂直拼接这些预测结果，得到拼接后的预测矩阵；将这些预测矩阵当作输入，将训练集标签当作输出，训练特殊设计的卷积神经网络模型。预测短文本，垂直拼接多个第一预测模型的预测结果，得到拼接后的预测矩阵，输入训练好的特殊设计的卷积神经网络模型，既实现了对短文本的分类。垂直拼接和特殊设计的卷积神经网络减低了需要训练的参数量，减低了过拟合风险，提高了模型的预测精度。

技术领域

本发明涉及数据处理技术领域。具体为一种短文本分类方法及装置。

背景技术

随着互联网技术的迅速发展与普及，在每天的互联网上都会产生浩如烟海的文本数据，而如何处理这些恒河沙数般的文本大数据，对它们进行有效的分类、组织和管理已经成为一个具有重要意义的研究问题。对文本进行分类是最具有经济意义的应用之一，它是指在给定分类体系下，根据文本内容自动确定文本类别的过程。

多个模型都可以用来完成短文本分类问题，比如短信内容五元分类问题-第一敏感类、第二敏感类、第三敏感类、第四敏感类。这些模型是用不同的机器学习算法在不同的训练样本集上训练得到的。集成多个已有短文本模型的方法主要有两种，一种叫选举法，另一种叫学习法。

选举法：最简单的投票法是相对多数投票法，也就是我们常说的少数服从多数。具体来讲，对于一短文本，每一个模型给一个预测类别，被数量最多的模型预测的类别为最终的分类类别。如果不止一个类别获得最高票，则随机选择一个做最终预测类别。稍微复杂一点的投票法是绝对多数投票法，也就是我们常说的要票过半数。在相对多数投票法的基础上，绝对多数投票法不光要求获得最高票，还要求票过半数。否则会拒绝预测。最后一种是平均投票法，将各个类别的票数求和，最大的值对应的类别为最终类别。投票法相对比较简单，但是学习误差较大。

学习法：如图1所示，将多个已有短文本分类模型的预测结果作为输入，将训练集的输出作为输出，重新训练一个学习器来得到最终结果。本发明集成多个已有短文本分类模型的方法属于学习法范畴。和本发明最相似的集成方案(我们叫做A方案)如下：假定有T个已有短文本分类模型。每个模型的预测结果有c种可能性，这预测结果可以看成是一包含c个元素的行向量。对于训练样本每一个短文本样本x,A方案首先得到T个分类预测结果，也就是T个行向量，每个行向量大小为(c,)，再水平拼接成一大小为(T*c,)的行向量，后结合训练数据标签，输入像支持向量机、贝叶斯分类和多层感知机这样的分类算法训练得到一新的短文本分类模型。

选举法：由于缺少可学习训练参数，集成选举方法自适应能力弱，集成得到的短文本分类模型分类精度方差大，有时候精度高，有时候精度低。

学习法：由于数据驱动，相比集成选举法，学习法通常可以获得更高精度的短文本分类模型。现有集成学习法水平拼接多个模型的预测结果作为密集连接算法的输入结合相应的类别标签来重新训练一个短文本分类模型。现有集成学习法可训练参数量级T*c较大，在训练样本有限的现实条件下，训练得到的分类模型容易过拟合，导致模型预测分类精度受损。

发明内容

本发明为了解决背景技术中存在的问题，目的在于提供了一种短文本分类方法及装置，基于数据驱动集成这些分类模型的方法，获得一个有更好分类精度的短文本分类模型。

用于解决问题的方案：

一种短文本分类方法，所述方法包括：

对多个第一预测模型的预测结果进行垂直拼接处理，得到拼接后的预测矩阵；

把所述拼接后的预测矩阵输入到预设的卷积神经网络模型中，得到预测结果，既实现了对短文本的分类。

进一步，所述对多个第一预测模型的预测结果进行垂直拼接处理前，所述方法还包括：

获取短文本样本集；