[发明专利]面向领域整体的关键词集的评价和提取方法

说明书

技术领域

本发明涉及一种领域关键词集的提取方法，更具体的是提出构建领域文集的词网，利用基于图结构的ranking算法提取领域关键词集的方法。

背景技术

目前，关键词提取技术的研究主要有基于统计、基于图、基于机器学习的三类方法。用现有的关键词提取技术来提取一个领域的整体关键词，存在不足之处，具体如下：

基于统计的方法，主要通过统计文本中词语的出现规律提取关键词；该方法的缺点是，提取的关键词难以准确概括领域内容。基于图结构的方法，主要考虑文本中词之间的联系，以词为节点、以词间的关系为边、组成一个网络，通过挖掘网络中的特殊节点来发现关键词；该方法的缺点是，关键词提取的精度只能体现在文本较长的文本上。基于机器学习的方法，是通过人工标注的关键词实例训练生成分类器，再用分类器确定新文本的关键词；该方法的缺点是，训练分类器需要大量的人工标注关键词，领域变化时需重定学习规则，在Web环境下难以大规模使用。

领域关键词集，也就是一个领域的整体关键词，应具有概括领域内容和区分于其他领域的特性。目前，以出现次数最多的词作为领域关键词集难以准确反应整个领域的特性。但是由于领域文本难以整体获得，领域关键词集的提取方法并没有得到太多研究。

发明内容

本发明的目的在于针对现有技术的不足，提供一种领域关键词集的提取方法，该方法能提高关键词提取精度，能提高提取结果的领域特性，并能方便应用于提取Web环境下网页文本的领域关键词集。

为了达到上述的目的，本发明构思如下：

定义领域关键词集的概念：领域关键词集是领域主题中最重要的N个词，即权重最大的前N个词。其中，词的权重表示对领域主题的贡献程度。

在提取领域关键词集时，以词为节点、以词的关联规律为边、构建领域文集的词网，通过基于图结构的ranking算法计算词网节点的权重，再利用搜索引擎检验词的普遍性；进而提取出权重最大的前N个词作为领域关键词集。

根据上述的发明构思，本发明采用下述技术方案：

一种领域关键词集的提取方法，其特征在于提出构建领域文集的词网，通过基于图结构的ranking算法计算词网节点的权重，利用搜索引擎调整词权，进而提取领域关键词集的方法，其具体步骤如下：

1)打开一批领域文集；

2)初始化词网：对领域文集预处理，将过滤后的实词作为词网的节点；

3)通过兴趣度创建词网的有向边；

4)用ranking算法计算节点的权重；

5)通过搜索引擎来调整节点对应的实词的词权；

6)统计实词的词权的排名；

7)选择关键词：将排名最高的N个词作为领域关键词集。

上述步骤3)所述的通过兴趣度创建词网有向边的方法，其步骤如下：

(1)对一篇文本中共同出现的词a和词b，用置信度Confidence来度量文本中词a出现后词b出现的可信程度，置信度计算公式如下：

Confidence(Ta,Tb)=P(Ta,Tb)P(Ta)=|{D|Ta∈D∩Tb∈D}||{D|Ta∈D}|]]>