[发明专利]确定语料与实体的相关性的方法和装置及分类器训练方法

权利要求书

1.一种用于确定第一组语料中的每个语料与第一给定实体的相关性的方法，包括：

利用通用分类器基于从作为未标注语料的第二组语料提取的通用特征对所述第二组语料进行分类，以确定所述第二组语料中的每个语料与所述第一给定实体的相关性，从而得到作为对所述第二组语料的标注结果的机器标注语料；

基于所述通用特征和从所述机器标注语料中选取的与所述第一给定实体相关的补充特征，结合实体名称相关的启发式规则，利用所述机器标注语料，训练针对所述第一给定实体的自适应分类器；以及

基于从第一组语料提取的通用特征和所述补充特征，结合实体名称相关的启发式规则，利用训练好的所述自适应分类器，确定第一组语料中的每个语料与第一给定实体的相关性。

2.如权利要求1所述的方法，其中，所述通用特征包括：语料与实体主页页面的相关性、语料与网络百科全书页面的相关性、语料与搜索引擎链接页面的相关性、语料与搜索引擎相关页面的相关性中的至少一种。

3.如权利要求2所述的方法，其中，所述语料与实体主页页面的相关性、语料与网络百科全书页面的相关性、语料与搜索引擎链接页面的相关性、语料与搜索引擎相关页面的相关性中的每一个均包括一元特征相关性、多元特征相关性、元数据相关性、主机名相关性中的至少一个；所述一元特征相关性包括页面中的一元词是否出现在语料中，所述多元特征相关性包括页面中的二元词、二元字符、三元字符中的至少一个是否出现在语料中，所述元数据相关性包括页面的元数据中的关键词是否出现在语料中，所述主机名相关性包括页面的URL地址中包括的主机名是否出现在语料中。

4.如权利要求3所述的方法，其中，通过如下步骤提取所述通用特征：

获取与给定实体相关联的实体主页页面、具有网络百科全书属性的网页页面、搜索引擎返回的链接页面、搜索引擎返回的相关页面中的至少一种；

从所获取的页面中提取一元词、二元词、二元字符、三元字符、元数据中的关键词、URL地址中包括的主机名中的至少一个，作为机构信息；

从语料中提取一元词、二元词、二元字符、三元字符、URL地址中包括的主机名中的至少一个，作为语料信息；

基于所述机构信息和所述语料信息，计算得到所述通用特征。

5.如权利要求1所述的方法，其中，实体名称相关的启发式规则包括：实体名称本身是否包括不止一个单词、和/或语料中是否包含完整实体名称。

6.如权利要求1所述的方法，其中，所述补充特征包括：从所述机器标注语料中选取的与所述第一给定实体相关的一元词、二元词、二元字符、三元字符中的至少一个。

7.如权利要求6所述的方法，其中，所述方法还包括：

在所述训练自适应分类器的步骤之前的特征选取步骤，用于从所述机器标注语料中选取关键词，作为所述补充特征；

自适应训练结束步骤，用于验证自适应训练结束条件，在满足自适应训练结束条件的情况下结束自适应训练，在不满足自适应训练结束条件的情况下重复所述特征选取步骤和所述训练自适应分类器的步骤，直到满足所述自适应训练结束条件。

8.如权利要求7所述的方法，其中，所述自适应训练结束条件包括：迭代达到预定次数或自适应分类器的分类结果基本稳定。

9.一种用于确定语料与给定实体的相关性的分类器的训练方法，包括：

获取与给定实体相关联的实体主页页面、具有网络百科全书属性的网页页面、搜索引擎返回的链接页面、搜索引擎返回的相关页面中的至少一种；

从所获取的页面中提取一元词、二元词、二元字符、三元字符、元数据中的关键词、URL地址中包括的主机名中的至少一个，作为机构信息；

从与给定实体相关联的已经标注好的训练语料中提取一元词、二元词、二元字符、三元字符、URL地址中包括的主机名中的至少一个，作为语料信息；

基于所述机构信息和所述语料信息，计算通用特征，所述通用特征包括：语料与实体主页页面的相关性、语料与网络百科全书页面的相关性、语料与搜索引擎链接页面的相关性、语料与搜索引擎相关页面的相关性中的至少一种；

基于所计算的通用特征，结合实体名称相关的启发式规则，利用所述训练语料的标注结果，训练所述分类器。

10.一种用于确定第一组语料中的每个语料与第一给定实体的相关性的装置，包括：

通用分类器，用于基于从作为未标注语料的第二组语料提取的通用特征对所述第二组语料进行分类，以确定所述第二组语料中的每个语料与所述第一给定实体的相关性，从而得到作为对所述第二组语料的标注结果的机器标注语料；

自适应分类器训练单元，用于基于所述通用分类器使用的通用特征和从所述机器标注语料中选取的与所述第一给定实体相关的补充特征，结合实体名称相关的启发式规则，利用所述机器标注语料，训练针对所述第一给定实体的自适应分类器；以及

所述自适应分类器，用于基于从第一组语料提取的通用特征和所述补充特征，结合实体名称相关的启发式规则，确定第一组语料中的每个语料与第一给定实体的相关性。