[发明专利]新词提取方法及装置、电子设备、计算机可读存储介质

说明书

本公开提供了一种新词提取方法及装置、电子设备、计算机可读介质，该方法包括：基于基础分词规则对语料进行分词处理得到词库，以及对所述语料进行分字处理得到字库；分别基于所述字库和所述词库进行组词处理，得到第一候选词库；根据所述第一候选词库中每个第一候选词的凝聚度筛选候选词，得到第二候选词库；以所述第二候选词库中各第二候选词对应的词组长度参数，对所述语料进行分词处理，按照分词处理的结果更新所述第二候选词库，得到第三候选词库；根据筛选规则从所述第三待选词库中筛选得到新词。根据本公开的实施例能够提高所提取的新词的准确性，从而优化了对新词的提取效果。

技术领域

本公开涉及自然语言处理领域，特别涉及一种新词提取方法及装置、电子设备、计算机可读存储介质。

背景技术

新词是随着技术发展以及文化变迁等衍生出的新兴词汇，或者旧词新用的词，针对各个领域，为了能够在使用时，确保用词和表达的准确性，提取新词成为一项重要的任务。尤其是在自然语言处理领域，新词提取是一项比较重要的基础任务。目前，一些常规的新词提取技术依赖于词与词之间的自由度，或者词与词之间的语义相似度，而这两种方式对新词的提取效果均较差。

发明内容

本公开提供一种新词提取方法及装置、电子设备、计算机可读存储介质。

第一方面，本公开提供了一种新词提取方法，该新词提取方法包括：

基于基础分词规则对语料进行分词处理得到词库，以及对所述语料进行分字处理得到字库；

分别基于所述字库和所述词库进行组词处理，得到第一候选词库；所述第一候选词库中包括多个第一候选词，每个第一候选词对应一个词组长度参数；

根据所述第一候选词库中每个第一候选词的凝聚度筛选候选词，得到第二候选词库，每个第一候选词的凝聚度用于表征相应第一候选词作为一个词组的可能性；

以所述第二候选词库中各第二候选词对应的词组长度参数，对所述语料进行分词处理，按照分词处理的结果更新所述第二候选词库，得到第三候选词库；

根据筛选规则从所述第三待选词库中筛选得到新词。

第二方面，本公开提供了一种新词提取装置，该新词提取装置包括：

切分模块，用于基于基础分词规则对语料进行分词处理得到词库，以及对所述语料进行分字处理得到字库；

组词模块，用于分别基于所述字库和所述词库进行组词处理，得到第一候选词库；所述第一候选词库中包括多个第一候选词，每个第一候选词对应一个词组长度参数；

筛选模块，用于根据所述第一候选词库中每个第一候选词的凝聚度筛选候选词，得到第二候选词库，每个第一候选词的凝聚度用于表征相应第一候选词作为一个词组的可能性；

分词模块，用于以所述第二候选词库中各第二候选词对应的词组长度参数，对所述语料进行分词处理，按照分词处理的结果更新所述第二候选词库，得到第三候选词库；

所述筛选模块，还用于根据筛选规则从所述第三待选词库中筛选得到新词。

第三方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的新词提取方法。

第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述的新词提取方法。

第五方面，本公开提供了一种计算机程序或计算机程序产品，该计算机程序产品包括计算机程序，计算机程序存储在计算机可读存储介质中，所述计算机程序在被处理器执行时实现上述的新词提取方法。