[发明专利]一种特征词分类方法、装置、电子设备及存储介质

说明书

本发明提供了一种特征词分类方法、装置、电子设备及存储介质，能够从历史积累的海量文本中，提取用于构建各个特征词的原子语义字符组合，并训练这些字符组合的语义模型；对新特征词先提取其中包含的这些字符组合，并获取最新训练的语义向量和计算重要度权重，再进行语义向量的加权累加，作为当前特征词整体的语义向量。采用这样的处理方式，对特征词这种长度极短的文本进行了内部特征的解构分析，提升了重要内部字符组合的语义影响度；并通过语义向量的方式，提高了该策略整体的泛化能力，使其在后续的分类和聚类处理中，都有较明显的效果提升。

技术领域

本发明涉及互联网技术领域，具体而言，涉及一种特征词分类方法、装置、电子设备及存储介质。

背景技术

在对行业营销数据中的特征词进行类别划分的时候，传统的基于每个特征词整体的语义向量相似度或统计建模的策略，往往会忽略构成当前特征词的内部字符组合的含义，及其对特征词类别判断的重要影响。而且，构成各特征词的某些重要的字符组合，往往会影响整个特征词的最终类别划分。

比如，美妆行业中，“保湿”属于“功效”类别，而“保湿霜”则属于“品类”类别；同样，对于某些有字符包含关系的特征词，也有所属类别完全不同的情况。例如，“佰草集”属于“品牌”类别，而“佰草集新七白美白嫩肤面膜”则属于“单品”类别。针对这些情况，用传统的基于特征词整体的语义向量或统计特征来进行分类判断的方法，往往会忽略掉其中导致类别差异的某些重要的字符组合的语义信息。

因此，如何提供一种更有效的特征词分类方法，是目前亟待解决的问题。

发明内容

为了改善上述问题，本发明提供了一种特征词分类方法、装置、电子设备及存储介质。

本发明实施例的第一方面，提供了一种特征词分类方法，所述方法包括：

获取新增的行业特征词；

对新增的行业特征词提取行业特征词的字符组合并进行切分；

根据预先保存的字符组合语义模型，获取所述行业特征词的字符组合的语义向量以及对应的权重；

加权累加字符组合的语义向量，得到当前行业特征词的整体语义向量；

根据所述整体语义向量对所述行业特征词进行整体类别判断。

可选地，所述字符组合语义模型的训练方法包括：

获取预先积累的特征词文本数据；

采用基于分布式的n-gram挖掘策略，提取特征词文本数据中每个特征词的字符组合，作为特征词整体类别判断的原子语义；

对提取的特征词的字符组合进行语义向量的构建，得到字符组合语义模型。

可选地，所述对提取的特征词的字符组合进行语义向量的构建的步骤，具体包括：

按照提取的原子语义对特征词的字符组合进行切分，构建语义训练的样本数据；

使用gensim工具包，加载样本数据并训练语义向量；

将训练后的字符组合的语义向量结果进行保存。

可选地，在执行所述构建语义训练的样本数据的步骤时，将每条特征词文本数据的所有切分可能都加入到训练样本集合中，并确保各字符组合的位置顺序与原文中出现的顺序一致，且没有切分位置上的重叠。

可选地，所述对新增的行业特征词提取行业特征词的字符组合并进行切分的步骤，具体包括：

按照所述原子语义提取所述行业特征词的字符组合并进行切分；

采用“全量切分”策略，将所述行业特征词内部包含的所有出现在特征词文本数据中的字符组合，都进行提取。