[发明专利]一种基于字符向量的短文本分类方法及系统

权利要求书

1.一种基于字符向量的短文本分类方法，其特征在于，包括：

获取待分类短文，利用所述待分类短文生成字符序列样本，将所述字符序列样本输入预设网络模型进行特征提取，生成字符向量；

对所述待分类短文进行词语切分，生成词序列样本，并根据所述词序列样本，对所述字符向量进行字符组合，生成字符向量组合；

将所述待分类短文对应的字符向量组合输入训练完成的分类预测模型，得到所述待分类短文的文本类型。

2.根据权利要求1所述的基于字符向量的短文本分类方法，其特征在于，所述分类预测模型通过以下方式进行训练得到的：

获取不同类别的样本数据集，根据预设样本数量对各所述样本数据集进行筛选，得到有效类别样本数据集，所述样本数据集带有类别标识信息，所述类别标识信息包括所述样本数据集中短文样本的目标文本类型；

利用所述样本数据集生成字符序列训练样本，对所述字符序列训练样本进行填充，并将填充后的所述字符序列训练样本输入预设网络模型进行特征提取，生成预训练字符向量；

对所述样本数据集中的短文样本进行词语切分，生成词序列训练样本，并对所述词序列训练样本进行填充，根据填充后的所述词序列训练样本，对所述预训练字符向量进行字符组合，生成字符向量训练组合；

将不同类别的样本数据集对应的字符训练向量组合输入分类预测模型进行模型训练，得到训练完成的分类预测模型。

3.根据权利要求2所述的基于字符向量的短文本分类方法，其特征在于，所述将不同类别的样本数据集对应的字符训练向量组合输入分类预测模型进行模型训练，得到训练完成的分类预测模型，包括：

将不同类别的样本数据集对应的字符训练向量组合输入分类预测模型中，输出预测文本类型；

根据所述预测文本类型及所述目标文本类型，更新所述分类预测模型中的参数，得到训练完成的分类预测模型。

4.根据权利要求2所述的基于字符向量的短文本分类方法，其特征在于，所述在将所述待分类短文对应的字符向量组合输入训练完成的分类预测模型之前，所述短文本分类方法还包括：

获取所述有效类别样本数据集的各类别关键词，判断所述待分类短文中是否存在所述关键词，当所述待分类短文中存在所述关键词时，将所述待分类短文的文本类型标记为所述关键词对应的目标文本类型；

当所述待分类短文中不存在所述关键词时，将待分类短文对应的字符向量组合输入训练完成的分类预测模型，得到所述待分类短文的文本类型。

5.根据权利要求1所述的基于字符向量的短文本分类方法，其特征在于，所述将所述待分类短文对应的字符向量组合输入训练完成的分类预测模型，得到所述待分类短文的文本类型，包括：

将所述待分类短文对应的字符训练向量组合输入分类预测模型进行模型训练，得到待分类短文对应各目标文本类型的预测概率值；

当所述预测概率值大于预设阈值时，将所述所述预测概率值对应的目标文本类型确定为待分类短文对应的文本类型。

6.根据权利要求1所述的基于字符向量的短文本分类方法，其特征在于，所述将所述待分类短文对应的字符向量组合输入训练完成的分类预测模型，得到所述待分类短文的文本类型，还包括：

将所述待分类短文对应的字符训练向量组合分别输入多个不同的分类预测模型进行模型训练，分别得到待分类短文对应各目标文本类型的预测概率值；

根据各所述分类预测模型的权重及各所述预测概率值，得到所述待分类短文对应各目标文本类型的目标预测概率值；

获取各所述目标预测概率值中的最大概率值，判断所述最大概率值是否大于预设阈值；

当最大概率值大于预设阈值时，将所述最大概率值对应的目标文本类型确定为待分类短文对应的文本类型。