[发明专利]一种基于字符向量的短文本分类方法及系统

说明书

本发明公开了一种基于字符向量的短文本分类方法及系统，该方法包括：获取待分类短文，利用待分类短文生成字符序列样本，将字符序列样本输入预设网络模型进行特征提取，生成字符向量；对待分类短文进行词语切分，生成词序列样本，并根据词序列样本，对字符向量进行字符组合，生成字符向量组合；将待分类短文对应的字符向量组合输入训练完成的分类预测模型，得到待分类短文的文本类型。本发明根据据词序列样本对字符向量进行字符组合，最后根据待分类短文的字符向量组合得到待分类短文的文本类型；利用字符向量对待分类短文进行分类，避免了传统分类方法中以词序列作为训练模型导致训练样本中的词种类有限的问题，保证分类过程的准确性与鲁棒性。

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于字符向量的短文本分类方法及系统。

背景技术

随着云服务、大数据、人工智能等新技术的发展以及应用，为了加强社会综合治理，整合综治信息数据，综治信息系统平台建设备受关注。系统平台收录了大量的非结构化的短文本数据，并且目前部分平台收录的文本数据标签类别信息不完整，有大量未标或标错的数据，而针对大量的文本数据，依靠人工整理归类的方式既耗时，又容易出错，自然语言处理技术在文本分类方面已经能取得较为优异的分类效果，可以利用少批量优质的训练数据训练分类器，自动整理归类其他未标注的数据，有效降低人工成本。目前分类训练的过程中，以词序列作为训练模型会导致训练样本中的词种类有限，因此不能保证分类过程的准确性与鲁棒性。

发明内容

有鉴于此，本发明实施例提供了一种基于字符向量的短文本分类方法及系统，解决了以词序列作为训练模型会导致训练样本中的词种类有限，因此不能保证分类过程的准确性与鲁棒性的问题。

为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供基于字符向量的短文本分类方法，包括如下步骤：获取待分类短文，利用所述待分类短文生成字符序列样本，将所述字符序列样本输入预设网络模型进行特征提取，生成字符向量；对所述待分类短文进行词语切分，生成词序列样本，并根据所述词序列样本，对所述字符向量进行字符组合，生成字符向量组合；将所述待分类短文对应的字符向量组合输入训练完成的分类预测模型，得到所述待分类短文的文本类型。

在一实施例中，所述分类预测模型通过以下方式进行训练得到的：获取不同类别的样本数据集，根据预设样本数量对各所述样本数据集进行筛选，得到有效类别样本数据集，所述样本数据集带有类别标识信息，所述类别标识信息包括所述样本数据集中短文样本的目标文本类型；利用所述样本数据集生成字符序列训练样本，对所述字符序列训练样本进行填充，并将填充后的所述字符序列训练样本输入预设网络模型进行特征提取，生成预训练字符向量；对所述样本数据集中的短文样本进行词语切分，生成词序列训练样本，并对所述词序列训练样本进行填充，根据填充后的所述词序列训练样本，对所述预训练字符向量进行字符组合，生成字符向量训练组合；将不同类别的样本数据集对应的字符训练向量组合输入分类预测模型进行模型训练，得到训练完成的分类预测模型。

在一实施例中，所述将不同类别的样本数据集对应的字符训练向量组合输入分类预测模型进行模型训练，得到训练完成的分类预测模型，包括：将不同类别的样本数据集对应的字符训练向量组合输入分类预测模型中，输出预测文本类型；根据所述预测文本类型及所述目标文本类型，更新所述分类预测模型中的参数，得到训练完成的分类预测模型。

在一实施例中，所述在将所述待分类短文对应的字符向量组合输入训练完成的分类预测模型之前，所述短文本分类方法还包括：获取所述有效类别样本数据集的各类别关键词，判断所述待分类短文中是否存在所述关键词，当所述待分类短文中存在所述关键词时，将所述待分类短文的文本类型标记为所述关键词对应的目标文本类型；当所述待分类短文中不存在所述关键词时，将待分类短文对应的字符向量组合输入训练完成的分类预测模型，得到所述待分类短文的文本类型。