[发明专利]新词发现方法及系统

摘要

提供一种新词发现方法和系统。所述新词发现方法包括：通过对文本中的各个句子进行分割来获得第一候选词集合；通过第一词典的词性规律来对第一候选词集合进行筛选以获得第二候选词集合；通过第二词典从每个句子获得分词，并根据第二候选词集合中的候选词的边界字与分词的边界字之间关系来确定候选词系数；根据第二候选词集合中的候选词的内部凝聚程度和边界自由程度来调整候选词系数，并根据调整的候选词系数从第二候选词集合中筛选出新词，其中，第一词典与第二词典相同或不同。根据所述新词发现方法和系统，能够减少特定词性和词典对新词发现结果的影响，能够通过边界关系、内部凝聚程度和边界自由程度获得候选词系数，使新词发现结果更准确。

主权项

1.一种新词发现方法，包括：通过对文本中的各个句子进行分割来获得包括多个候选词的第一候选词集合；统计第一词典中的具有单独成词的首字的词条、具有单独成词的尾字的词条和具有单独成词的首尾字的词条的首尾字词性规律，并从所述第一候选词集合中去除不符合所述首尾字词性规律的候选词，以获得第二候选词集合；利用第二词典中的词条针对每个句子进行分词，统计所述每个句子中包括作为分词左边界的字的位置下标的左边界集合和包括作为分词右边界的字的位置下标的右边界集合，分别判断所述各个句子中每个候选词的作为左边界的字的位置下标集合是否属于相应的左边界集合或所述每个候选词的作为右边界的字的位置下标集合是否属于相应的右边界集合，并综合各个句子中所述判断的结果来计算所述每个候选词的候选词系数；以及基于第二候选词集合中的每个候选词的内部凝聚程度和边界自由程度来获取第二候选词集合中的每个候选词的候选词系数的调整系数，利用调整系数调整候选词系数，按照经过调整的候选词系数对第二候选词集合中的候选词进行排序，并根据所述排序的结果筛选出新词，其中，第一词典与第二词典相同或不同。