[发明专利]一种基于搜索结果语义分析的词汇相关度计算方法

说明书

技术领域

本发明属于计算语言学技术领域，具体涉及一种词汇相关度的量化计算方法。 

背景技术

随着Web2.0应用技术发展，各种博客、网络论坛和社会化交互媒体的不断出现，每天都有大量的文本信息内容产生，如各种新闻报道、产品介绍、产品评论等等。而在这其中，不管是从新闻报道中发现热点，还是从产品评论中进行观点的自动分析都需要涉及到一个更关键的技术问题，就是如何有效计算两个词汇的相关性。因此，计算词汇相关度成为网络文本信息处理的一个关键基础问题。目前有多种计算词汇相关度的方法。一种是基于大规模语料知识库的统计方法，先确定一组特征词，将词汇表示为这组特征词所定义的向量空间中的点，然后通过类似于夹角余弦之类的相似性来计算[6, 7]。第二种方法是利用语义词典，根据语义词典的组织结构将词汇表达为一组语义向量从而计算给定词汇的相关度，常用的词典有WordNet、HowNet等[3, 5]。另外一种方法是基于LSA（潜在语义分析）将词汇映射到一个维度较小的语义空间，在语义空间中计算相关性，这种方法是基于矩阵的SVD（奇异值分解）分解。近来，随着互联网上各种百科全书（如维基百科）的不断完善，使用这类知识库进行词汇相关性计算也得到了关注，它们将文本或词汇显式地表示成维基概念空间中的带权向量[1, 4]。 

虽然这些方法在某些场合下能够较好地计算词汇相关性，但是在具体应用中需要进行大量的特征空间构建计算，需要维护和更新知识库，同时其相关度计算方法对于知识表示及库结构的依赖性较大，导致现实中的应用并不能让人满意。具体而言，所存在的问题列举如下： 

1．构造词汇语义向量的问题。语义向量中的元素是从语义词典或语料库中选择的词汇，代表了与所要计算的词汇比较相关的词汇集。需要在较大的文本信息中进行特征分析和计算，特别是对于中文应用来说，还需要进行分词处理，对于“113米栏”之类的混合型词汇容易造成向量计算的偏差。

2．需要构建一个巨大的知识库系统。统计计算相关度的方法需要构建和维护一个巨大的知识库系统，在数据存储及检索上需要较多的额外处理。 

3．对不同知识库系统的适应能力。知识库系统是进行相关度计算的一个基础，但是目前的方法主要依赖于英文维基百科系统，其概念特征提取方法对于中文词汇而言并不适应。因此，在更换为其它系统后，需要重新定义语义向量的计算方法，在一定程度上也限制了该方法的实用价值。 

由此可见，在进行词汇的语义相关度时，考虑知识库构建和维护的实际问题，提升对不同类型词汇相关度的计算能力，对于相关度计算方法的应用是非常必要的。  

发明内容

本发明的目的主要是针对现有各种词汇相关性计算方法中存在的不足，提出一种基于搜索引擎技术及文本语义分析技术相结合的词汇相关度计算方法。 

本发明提出的词汇相关度计算方法，按照一定的检索策略，自动向互联网搜索引擎提交检索命令，获得检索结果，并运用Web页面信息提取技术、文本语义分析技术进行词汇共现程度的计算，从而获得词汇的相关度。 

本发明提出的词汇相关度计算方法，具体步骤如下： 

（1）设定需要进行相关度计算的两个词汇w1, w2，及记录数阈值ξ； 

（2）根据词汇是中文或英文，生成符合www.bing.com的检索命令，并指定为限定网站范围的检索，范围设定为en.wikipedia.org或baike.baidu.com；

（3）自动建立HTTP（超文本传送协议）网络连接，通过该连接发送检索命令到bing搜索系统；

（4）接收并处理所返回的检索结果，即HTML（超文本标记语言）文本信息，当一个页面上的记录处理完毕后，自动执行下一页的检索记录处理，直到所有检索记录处理完毕或达到一定的记录数为止；采用Web信息提取技术[2]自动获取页面上的检索记录，基于每个检索记录中的摘要文本统计词汇频次信息；

（5）基于统计得到的词汇频次信息，计算得到两个词汇的相关度，并提示相关信息。

本发明流程见图1所示。 

本发明中，步骤（2）以Bing搜索引擎作为词汇上下文信息获取手段，以en.wikipedia.org或baike.baidu.com作为中英文知识库。 

本发明中，步骤（3）建立HTTP网络连接，并建立符合要求的检索命令，通过该连接发送检索命令到bing搜索系统。