[发明专利]一种挖掘词汇的方法及装置

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种挖掘词汇的方法及装置。

背景技术

目前，词汇的挖掘主要是新词识别，即挖掘出词典中未出现的新词。在进行新词挖掘时，通常将初始文档经过文本预处理获得候选新词表1，然后对候选新词表进行分词，按照词性去除不能构词的词语，再采用原子词汇构词法对文中的候选词串进行统计，形成候选新词表2；根据领域特点对候选新词表2进行过滤；利用频率相减法对包含有相同内容的重复子串进行筛选；根据领域词汇库的热点词根来筛选掉部分垃圾词串，生成新词表，再通过排序算法计算所发现的每个新词的序值对结果进行排序。

然而，采用现有技术挖掘词汇时，获得新词词汇的准确率较低，并且没有对词汇进行分领域，不能确定词汇的领域属性。

发明内容

本发明的实施例提供一种挖掘词汇的方法及装置，可以提高挖掘词汇的准确性，并确定挖掘的词汇的领域属性。

第一方面，本发明提供一种挖掘词汇的方法，包括：

确定第一语料集中第一候选词的特征值；

根据所述第一候选词的特征值，确定分类器；

确定第二语料集中第二候选词以及第二候选词的特征值；

根据所述第二候选词、所述第二候选词的特征值以及所述分类器，对所述第二候选词分类，并确定所述第二候选词中的目标词汇；

根据所述目标词汇的特征值，确定所述目标词汇的领域分数；

根据所述领域分数确定所述目标词汇的领域。

在第一种可能的实施例中，结合第一方面，所述第一候选词的特征值包括所述第一候选词的重复度、所述第一候选词的内聚度、所述第一候选词的自由度以及所述第一候选词的规则特征值；

所述确定第一语料集中第一候选词的特征值包括：

计算所述第一候选词的词频或者文档频度，确定所述第一候选词的所述词频或者所述文档频度为所述第一候选词的重复度；

计算所述第一候选词的互信息或者卡方检验或者色子矩阵，确定所述第一候选词的所述信息或者所述卡方检验或者所述色子矩阵为所述第一候选词的内聚度；

计算所述第一候选词的左右熵，确定所述第一候选词的所述左右熵为所述第一候选词的自由度；

将发现规则转换为发现特征，以及将过滤规则转换为过滤特征，分别计算所述第一候选词的发现特征值和过滤特征值。

在第二种可能的实施例中，结合第一方面中第一种可能的实施例，所述计算所述第一候选词的左右熵包括：

根据预设规则计算所述第一候选词的左右熵；所述预设规则为当所述第一候选词的左侧或者右侧出现临界点时，确定所述临界点为一个单独的字符。

在第三种可能的实施例中，结合第一方面中第一种可能的实施例，所述将发现规则转换为发现特征包括：将发现出的候选词和未发现出的候选词标记为不同的发现特征值；

所述将过滤规则转换为过滤特征包括：将过滤出的候选词和未过滤的候选词标记为不同的过滤特征值。

在第四种可能的实施例中，结合第一方面中第二种可能的实施例或者第三种可能的实施例，所述根据所述第一候选词的特征值，确定分类器包括：

根据所述第一候选词的重复度过滤第一候选词，获得第三候选词；

根据所述第一候选词的内聚度、所述第一候选词的自由度以及所述第一候选词的所述发现特征值和所述过滤特征值，以及所述第三候选词，训练分类器。

在第五种可能的实施例中，结合第一方面中第四种可能的实施例，所述根据所述第二候选词、所述第二候选词的特征值以及所述分类器，对所述第二候选词分类，并确定所述第二候选词中的目标词汇包括：

对所述第二候选词、所述第二候选词的特征值应用所述分类器，将所述第二候选词的分类为词汇和垃圾串；

将所述垃圾串删除；

确定所述词汇为所述第二候选词中的目标词汇。

在第六种可能的实施例中，结合第一方面或者结合第一方面中第五种可能的实施例，所述根据所述目标词汇的特征值，确定所述目标词汇的领域分数包括：

根据所述目标词汇的特征值，确定所述目标词汇的词汇分数；

根据所述目标词汇的词汇分数，确定所述目标词汇的领域分数。

在第七种可能的实施例中，结合第一方面中第六种可能的实施例，所述根据所述目标词汇的特征值，确定所述目标词汇的词汇分数包括：