[发明专利]基于Wikipedia链接结构的英文概念向量生成方法和装置

权利要求书

1.一种基于Wikipedia链接结构的英文概念向量生成方法，其特征在于，该方法包括：

根据英文Wikipedia页面中的标题概念和/或链接概念构建链接信息库；还包括根据英文Wikipedia页面中的正文描述和类别链接信息结合标题概念和/或链接概念构建链接信息库；其中，所述概念，指英文Wikipedia页面所对应的标题概念及包含的链接概念；所述概念向量，即以概念为对象而训练所得的概念向量；所述的标题概念是指Wikipedia页面所描述的概念；所述的链接概念是指在解释当前页面的标题概念时，所引用的其他的Wikipedia概念；所述的类别链接是指Wikipedia概念页面所属的类别信息；

所述构建链接信息库的具体方法为：

预处理原始英文Wikipedia页面，得到处理后的有效文本数据；

统计处理后的有效文本数据中的标题概念、链接概念和类别链接的出现频次，得到当前页面的标题概念、链接概念和类别链接的频次信息；

根据所有页面中的标题概念及其相应的链接概念和类别链接的频次信息构建链接信息库；

在整个链接信息库中，统计标题概念、链接概念和类别链接的出现频次，得到英文Wikipedia语料库的标题概念、链接概念和类别链接的频次信息；

针对链接信息库中样本是否存在链接概念分别构建训练正例和训练负例，选择一定数量训练正例和训练负例建立训练数据集；

将标题概念与其英文Wikipedia页面中所包含的链接概念或类别链接进行组合，构建训练正例；将标题概念与没有出现在其英文Wikipedia页面中的链接概念或类别链接进行组合，构建训练负例；

建立概念向量模型，模型包括输入层、嵌入层、概念向量运算层和输出层；建立概念向量模型的具体步骤包括：

根据英文Wikipedia语料库的标题概念、链接概念和类别链接的频次信息进行降序排列，并根据排序编码，确定所有标题概念、链接概念和类别链接的编码；

采用[-1,1]上的均匀分布建立概念向量的维度以及标题概念、链接概念和类别链接总数的二维的矩阵作为概念向量矩阵，概念向量矩阵为概念向量模型嵌入层的权重矩阵；

建立包括输入层、嵌入层、概念向量运算层和输出层的概念向量模型，标题概念和链接概念作为输入层的两个输入；在嵌入层中获取输入概念样本的张量并作降维处理，在概念向量运算层中将两个输入进行运算处理得到概念向量，在输出层预测输入构成训练正例或训练负例；

采用训练数据集训练概念向量模型，并由概念向量模型中提取概念向量。

2.如权利要求1所述的方法，其特征在于，所述预处理原始英文Wikipedia页面的具体步骤包括：

滤除原始英文Wikipedia页面中的无效信息，保留标题概念、正文描述、链接概念及类别链接信息，得到有效文本数据；

对有效文本数据进行断词、特定的大小写转换及特定的词形还原处理。

3.如权利要求1所述的方法，其特征在于，在该方法中，构建的训练正例和训练负例共同构成候选数据集，根据出现频次概率选择或随机选择策略在候选数据集中选择一定数量训练正例和训练负例，随机打乱顺序后建立训练数据集。

4.如权利要求3所述的方法，其特征在于，所述出现频次概率选择策略的具体方法为：

根据候选数据集中的链接概念或类别链接在英文Wikipedia页面或英文Wikipedia语料库中出现的频次，计算其选中概率；

根据该选中概率，从候选数据集中进行实例的选择。

5.如权利要求1所述的方法，其特征在于，在该方法中，

由概念向量模型中提取嵌入层的权重参数，即为概念向量矩阵，对应各个编码概念所对应的概念向量。

6.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行根据权利要求1-5中任一项所述的方法。

7.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令用于执行根据权利要求1-5中任一项所述的方法。