[发明专利]一种基于Wikipedia概念向量的英文词语相关度计算方法和装置

摘要

本发明公开了一种基于Wikipedia概念向量的英文词语相关度计算方法和装置。方法包括：1.由Wikipedia Dump服务站点获取生语料，进行规范化处理，生成Wikipedia基础语料库；2.进行概念标注扩充，构建Wikipedia概念语料库；3.根据Wikipedia概念语料库，训练概念向量；4.对于待比较词语对，根据Wikipedia，获得其词语概念集合；5.计算概念集合的笛卡尔积中的每个概念对所对应的概念向量的相似度，取最大值作为待比较词语对的相关度。利用本发明，可以充分挖掘Wikipedia蕴含的词语概念信息，生成词语概念向量，更准确有效地计算词语相关度。

主权项

一种基于Wikipedia概念向量的英文词语相关度计算方法，在特征在于，该方法包括以下步骤：步骤一、由Wikipedia Dump服务站点获取其Dump生语料；并对生语料进行规范化处理，仅保留namespace属性为0的Wikipedia概念文档；对于每个概念文档，只保留其正式文本及概念标注信息；将处理后的概念文档收集起来，作为Wikipedia基础语料库；步骤二、对Wikipedia基础语料库进行概念标注扩充，构建Wikipedia概念语料库；步骤三、根据Wikipedia概念语料库，训练概念向量；步骤四、对于待比较词语对，根据Wikipedia查询由用户指定的不同层次的概念集合，获得其词语概念集合；步骤五、取得待比较词语对的概念集合的笛卡尔积，计算其中每个概念对所对应的概念向量的相似度；取最大的概念向量的相似度作为待比较词语对的相关度。