[发明专利]新词提取方法及装置、电子设备、计算机可读存储介质

权利要求书

1.一种新词提取方法，其特征在于，包括：

基于基础分词规则对语料进行分词处理得到词库，以及对所述语料进行分字处理得到字库；

分别基于所述字库和所述词库进行组词处理，得到第一候选词库；所述第一候选词库中包括多个第一候选词，每个第一候选词对应一个词组长度参数；

根据所述第一候选词库中每个第一候选词的凝聚度筛选候选词，得到第二候选词库，每个第一候选词的凝聚度用于表征相应第一候选词作为一个词组的可能性；

以所述第二候选词库中各第二候选词对应的词组长度参数，对所述语料进行分词处理，按照分词处理的结果更新所述第二候选词库，得到第三候选词库；

根据筛选规则从所述第三待选词库中筛选得到新词。

2.根据权利要求1所述的新词提取方法，其特征在于，所述词组长度参数的取值包括至少两个大于或者等于2的整数，所述第一候选词库中具有相同词组长度参数的第一候选词组成一个候选词子集，所述第一候选词库中包括至少一个候选词子集，一个词组长度参数对应一个凝聚度阈值；

所述根据所述第一候选词库中每个第一候选词的凝聚度筛选候选词，得到第二候选词库，包括：

针对每个候选词子集，将每个候选词子集中各个第一候选词的凝聚度，与每个候选词子集的词组长度参数对应的凝聚度阈值进行比较，并将凝聚度大于凝聚度阈值的第一候选词添加到第二候选词库。

3.根据权利要求1所述的新词提取方法，其特征在于，所述第二候选词库中包括长词组和短词组，所述语料包括包含所述长词组的段落，以及不包含所述长词组的段落；所述以所述第二候选词库中各第二候选词对应的词组长度参数，对所述语料进行分词处理，按照分词处理的结果更新所述第二候选词库，得到第三候选词库，包括：

以所述第二候选词库中各第二候选词对应的词组长度参数，分别对所述语料中各个段落进行分词处理；

针对所述语料中不包含所述长词组的段落，将得到的分词词组作为二次分词词库中的词；

针对所述语料中包含所述长词组的段落，根据分词结果对相应长词组的规范性进行验证，每个长词组的规范性用于表征相应长词组是否为规范的词组；若验证结果为不规范，则将相应段落对应的分词词组作为二次分词词库中的词；若验证结果为规范，则将相应长词组保留在所述第二候选词中；

将所述二次分词词库中词频大于预设阈值，且所述第二候选词库中不包含的词与所述第二候选词库进行合并，得到第三候选词库。

4.根据权利要求3所述的新词提取方法，其特征在于，针对所述语料中包含所述长词组的段落，分词结果包括各个词组长度参数对应的词组集合；所述根据分词结果对相应长词组的规范性进行验证，包括：

若每个词组集合中均包括所述第二候选词库中的词，则确定相应长词组是规范的词；

若任一词组集合中不包括所述第二候选词库中的词，则确定相应长词组是不规范的词。

5.根据权利要求4所述的新词提取方法，其特征在于，所述根据筛选规则从所述第三待选词库中筛选得到新词，包括：

验证所述第三待选词库中每个长词组的合法性，每个长词组的合法性用于表征相应长词组作为新词的合理程度；

删除所述第三待选词库中合法性不满足要求的长词组，得到初筛新词库；

根据词性筛选规则对所述初筛新词库中的每个词进行筛选处理，得到新词。

6.根据权利要求5所述的新词提取方法，其特征在于，所述验证所述第三待选词库中每个长词组的合法性，包括：

针对每个长词组，确定组成所述长词组的元素来源，所述元素来源包括所述字库或者所述词库；

采用词组长度参数以相应长词组的元素来源确定的切分单位切分所述长词组；所述字库对应的切分单位为字，所述词库对应的切分单位为词；

若以任一词组长度参数切分得到的词中不包括所述第三待选词库中的词，则确定所述长词组不合法。