[发明专利]一种基于搜索结果语义分析的词汇相关度计算方法

权利要求书

1.一种基于搜索结果语义分析的词汇相关度计算方法，其特征在于具体步骤如下：

（1）设定需要进行相关度计算的两个词汇w1, w2，及记录数阈值ξ； 

（2）根据词汇是中文或英文，生成符合www.bing.com的检索命令，并指定为限定网站范围的检索，范围设定为en.wikipedia.org或baike.baidu.com；

（3）自动建立超文本传送协议网络连接，通过该连接发送检索命令到bing搜索系统；

（4）接收并处理所返回的检索结果，即超文本标记语言文本信息，当一个页面上的记录处理完毕后，自动执行下一页的检索记录处理，直到所有检索记录处理完毕或达到一定的记录数为止；采用Web信息提取技术自动获取页面上的检索记录，基于每个检索记录中的摘要文本统计词汇频次信息；

（5）基于统计得到的词汇频次信息，计算得到两个词汇的相关度，并提示相关信息。

2.如权利要求1所述的基于搜索结果语义分析的词汇相关度计算方法，其特征在于：步骤（4 ）所述统计词汇频次信息的方法为：提取检索结果页面中的每个记录，提取其中的摘要文本信息，并根据分割符“…”进行文本切分，得到若干个分段；对于每个分段进行词汇频次信息统计。

3.如权利要求1所述的基于搜索结果语义分析的词汇相关度计算方法，其特征在于：步骤（4 ）中，根据条件endRec<TotalRec，及条件Trec小于设定的记录数阈值ξ是否成立，来决定是否要获取更多的记录；其中，TotalRec表示检索结果的总记录数，endRec表示当前页面的记录数，Trec已经处理过的记录数。

4.如权利要求1中所述的基于搜索结果语义分析的词汇相关度计算方法，其特征在于：步骤（5）中通过下面的式子计算两个词汇w1, w2的相关度：

R（w1, w2）= TC*2 / (T1+T2)

其中，T1是w1出现的次数，T2是w2出现的次数，TC是两者同时出现的次数。

5.如权利要求1中所述的基于搜索结果语义分析的词汇相关度计算方法，其特征在于：通过构造训练集，将相似性计算结果与标注结果进行Pearson相关系数的计算，从而确定计算过程中需要的记录数阈值ξ。