[发明专利]一种新词提取方法及装置

说明书

本发明公开了一种新词提取方法，包括：获取给定语料，并对给定语料进行分词处理，获得若干第一词组；其中，给定语料包括若干篇文章；计算每一第一词组的凝固度和自由度，继而提取凝固度和自由度符合预设阈值条件的若干第一词组，作为第二词组；计算每一第二词组在给定语料中各文章的篇频；其中，篇频为词组在一篇文章中出现的次数；根据各文章的文章影响力对每一第二词组的各篇频进行加权计算，获得各第二词组的加权篇频；根据每一第二词组的加权篇频进行排序，并根据排序结果提取出新词。通过实施本发明实施例能够避免总词频较低的词被遗漏，提高新词提取的准确性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种新词提取方法及装置。

背景技术

在信息爆炸的时代各种新词层出不穷，新词的提取对于诸如信息检索、自动分词、词典编纂以及机器翻译等众多中文信息处理领域有重要意义。现有技术中对新词的提取主要通过对给定语料如以多篇文章作为给定语料，然后进行分词，并计算词在所给定的语料中的总词频，最终根据总体词频进行排序并提取，但采用上述方式进行新词提取，会导致一些总词频较小的新词，但是运用广泛，流行程度高的词组被忽略无法提取出来。例如假设给定语料有10篇文章，词A仅在其中两篇文章出现过，出现的总次数为50次，而词B在10篇文章均有出现，出现的总次数为40次，这时词B在10篇文章中均有出现说明词B的运用广泛，流行程度高应该被提取出来，但若采用现有技术的方案由于词A的总词频高于词B，所以在最终排序时A会排在词B前面，所以最终在提取新词的时候词A更容易被提取出来，而词B会容易被遗漏，进而导致新词提取不准确。这种情况在以法律法规、专项政策、领导演讲稿等公文作为语料的时候尤其突出，例如现如今各个政府领导在演讲中经常会提及的“绿水青山，就是金山银山”这句话，这句话经常出现在不同领导的演讲稿中，运用广泛，但是这句话起一个纲领的作用在每个领导的演讲稿中可能只会出现一两次，不会在同一篇演讲稿中被频繁提及。若以各不同领导的演讲稿为给定语料，采用现有的新词提取方法，会导致“绿水青山，就是金山银山”内的词组很容易被遗漏不会被提取出来。

发明内容

本发明实施例提供一种新词提取方法及装置，能够避免总词频较低的词被遗漏，提高新词提取的准确性。

本发明一实施例提供一种新词提取方法，包括：

获取给定语料，并对所述给定语料进行分词处理，获得若干第一词组；其中，所述给定语料包括若干篇文章；

计算每一所述第一词组的凝固度和自由度，继而提取凝固度和自由度符合预设阈值条件的若干第一词组，作为第二词组；

计算每一所述第二词组在所述给定语料中各文章的篇频；其中，所述篇频为词组在一篇文章中出现的次数；

根据各所述文章的文章影响力对每一所述第二词组的各篇频进行加权计算，获得各所述第二词组的加权篇频；

根据每一所述第二词组的加权篇频进行排序，并根据排序结果提取出新词。

进一步的，通过以下公式计算一所述文章的文章影响力：

；

其中,为待评估文章、为待评估文章的文章影响力、为引用了待评估文章的文章集合、为集合中的一篇文章、为文章 的影响力，为文章所引用的文章数量。

进一步的，在获得若干第二词组之后，在计算每一所述第二词组在所述给定语料中各文章的篇频之前，还包括：剔除开头或结尾为停用词的第二词组。

进一步的，在提取出所述新词后，根据各所述新词所属文章的领域类型，设置所述新词的类别标签，对所述新词进行分类。

在上述方法项实施例的基础上，本发明对应提供了装置项实施例：

本发明另一实施例提供了一种新词提取装置，包括分词处理模块、第二词组提取模块、篇频计算模块、加权篇频计算模块以及新词提取模块；