[发明专利]一种文本分类模型的建立方法及装置

说明书

本发明实施例提供了一种文本分类模型的建立方法及装置，涉及数据处理技术领域，其中，该方法包括：从原始样本语料中，确定各个预设类别的种子特征词；对于每个预设类别的种子特征词，确定种子特征词的至少一阶相关词集合；对于每阶相关词集合中的每个相关词，确定相关词与种子特征词之间的近似度；将近似度大于预设近似度阈值的相关词和种子特征词，确定为该预设类别的类别特征词集合；根据各个预设类别所对应的类别特征词集合，建立针对不同维度的文本分类模型。本发明利用原始样本语料，通过与种子特征词之间相关度高、近似度大的相关词，建立不同维度的文本分类模型，无需对原始样本语料反复标注，能够缩短模型的建立时间。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种文本分类模型的建立方法及装置。

背景技术

随着信息化时代的到来，数据量与日俱增，人们对于数据的处理效率也提出了更高的要求。其中，对数据进行快速有效地分类，是一种提升数据的处理和应用效率的有效手段。

目前，针对文本数据建立特定维度的文本分类模型时，首先需要收集原始样本语料，然后需要对原始样本语料进行指示特定维度的标注，进而通过标注后的样本语料进行模型训练，从而建立特定维度的文本分类模型。当需要建立另一维度的文本分类模型时，则需要对原始样本语料进行新维度的标注，从而建立新维度的文本分类模型。

然而，在实际应用中，为了保证不同维度的文本分类模型的准确度，需要收集大量的原始样本语料，而对数量庞大的原始样本语料进行多次标注，会耗费大量的时间，从而将大大延长不同维度的文本分类模型的建立时间。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种文本分类模型的建立方法及装置，以解决对大量原始样本语料进行标注，将延长不同维度文本分类模型的建立时间的问题。

根据本发明的第一方面，提供了一种文本分类模型的建立方法，所述方法包括：

从原始样本语料中，确定属于各个预设类别的种子特征词；所述各个预设类别属于至少两个维度；

对于每个预设类别的种子特征词，确定所述种子特征词的至少一阶相关词集合；

对于每阶相关词集合中的每个相关词，确定所述相关词与所述种子特征词之间的近似度；

将近似度大于预设近似度阈值的相关词和所述种子特征词，确定为所述预设类别对应的类别特征词集合；

根据所述各个预设类别所对应的类别特征词集合，建立针对不同维度的文本分类模型。

可选的，所述对于每阶相关词集合中的每个相关词，确定所述相关词与所述种子特征词之间的近似度，包括：

对于每阶相关词集合中的每个相关词，确定所述相关词的一阶相关词集合；

确定所述相关词的一阶相关词集合与所述种子特征词的一阶相关词集合的相关词交集；

确定所述相关词的一阶相关词集合与所述种子特征词的一阶相关词集合的相关词并集；

将所述相关词交集的词语数量除以所述相关词并集的词语数量，得到所述相关词与所述种子特征词之间的近似度。

可选的，所述对于每阶相关词集合中的每个相关词，确定所述相关词与所述种子特征词之间的近似度，包括：

对于每阶相关词集合中的每个相关词，确定所述相关词的一阶相关词集合；

确定所述相关词的一阶相关词集合与所述种子特征词的一阶相关词集合的相关词交集；

将所述相关词交集的词语数量确定为所述相关词与所述种子特征词之间的近似度。

可选的，所述从原始样本语料中，确定属于各个预设类别的种子特征词，包括：