[发明专利]基于开放知识库的短文本语义概念自动化扩展方法及系统

权利要求书

1.一种基于开放知识库的短文本语义概念自动化扩展方法，所述方法包括：

步骤1)对短文本生成n-gram集合；

步骤2)对于所述n-gram集合中的元素执行下列操作：

将该元素链接到开放知识库中与该元素最相关的概念，以及

基于开放知识库的概念关系矩阵和所链接的概念，为该元素生成扩展的语义概念集合，

其中，所述开放知识库的概念关系矩阵的行为该开放知识库中的概念，列为该开放知识库中的文档，所述概念关系矩阵中元素的值为所在行的概念在所在列的文档中出现的总的次数。

2.根据权利要求1所述的方法，所述步骤1)包括：

利用短文本中包含的特殊符号和停用词作为分隔符，生成不包含特殊符号和停用词的短文本片段；

对每一个短文本片段分别产生n-gram；

合并每条短文本片段的n-gram，得到该条短文本的n-gram集合。

3.根据权利要求1所述的方法，所述开放知识库为维基百科，所述该开放知识库中的概念为维基百科中的锚文本。

4.根据权利要求1所述的方法，所述步骤2)中，所述n-gram集合中的元素为可链接的元素。

5.根据权利要求4所述的方法，所述步骤2)还包括从步骤1)所生成的n-gram集合中选择可链接的元素的步骤。

6.根据权利要求1-5之一所述的方法，在所述步骤2中)将该元素链接到开放知识库中与该元素最相关的概念包括：

将开放知识库中与该元素对应的所有概念作为该元素的候选概念集合；

计算该候选概念集合中每个概念与该元素之间的互信息；

选择与该元素之间的互信息最大的概念作为与该元素最相关的概念，从而将该元素链接到开放知识库中与该元素最相关的概念。

7.根据权利要求1-5之一所述的方法，在所述步骤2中)将该元素链接到开放知识库中与该元素最相关的概念包括：

将开放知识库中与该元素对应的所有概念作为该元素的候选概念集合；

计算该候选概念集合中每个概念与该元素的上下文之间的相关性；

选择与该元素的上下文之间的相关性最大的概念作为与该元素最相关的概念，从而将该元素链接到开放知识库中与该元素最相关的概念；

其中，该候选概念集合中每个概念c_i与该元素的上下文之间的相关性以如下公式进行计算：

Score(ci)=1|CT(t)|Σtm∈CT(t)log(1+MI(tm,ci)),]]>其中，t表示n-gram元素，Score(c_i)表示候选概念c_i与t的上下文相关性，CT(t)为t的上下文，其表示短文本去除t后生成的所有n-gram元素集合，tm表示CT(t)集合中的一个元素，MI(tm，c_i)表示tm和c_i在开放知识库中的互信息。