[发明专利]一种文本实体抽取方法

权利要求书

1.一种文本实体抽取方法，其特征在于，该方法包括以下步骤：

(1)规则集的自动挖掘，包括以下子步骤：

(1.1)在大量的语料上进行短语分割，得到名词短语；

(1.2)用远程监督的方式对名词短语进行实体和实体类型识别；

(1.3)在实体和实体类型识别的结果上挖掘出现频次高的序列模式；在序列模式中，如果原语料中的名词短语被识别为实体，则用该名词短语的实体类型替换序列模式中的该名词短语；

(1.4)根据序列模式中包含的实体类型，将同义的序列模式进行聚合，得到每个语义对应的序列模式子集A；

(1.5)对每个语义对应的序列模式子集A中的实体类型的层级进行调整：在序列模式聚合的结果上，对每个语义对应的序列模式子集A统计其中的实体类型层级，取最多数层级作为该子集A中的实体类型层级；

(1.6)对于每种实体类型，从各子集A中找出包含该类型的序列模式，得到这种实体类型对应的序列模式子集B；

(2)产生有标签数据：将每种实体类型对应的序列模式子集B作为Snorkel的输入，预测出样本的标签，即实体类型，标签带有置信度；

(3)训练实体抽取回归模型：用带有置信度的标签训练实体抽取回归模型，用训练好的回归模型预测语料，得到实体识别结果；

(4)返回步骤(1)，用训练好的实体抽取回归模型重新预测语料，用得到的结果对步骤(1)得到的短语分割、远程监督实体识别的结果进行修正，继续剩余的步骤，重新得到实体抽取回归模型和实体识别结果；重复这一过程，直到步骤(3)得到的实体结果与上一次过程得到的结果一致。

2.根据权利要求1所述的一种文本实体抽取方法，其特征在于，所述步骤(1.1)中，利用AutoPhrase方法进行短语分割，得到名词短语。

3.根据权利要求1所述的一种文本实体抽取方法，其特征在于，所述步骤(1.3)中，在实体和实体类型识别的结果上，用PrefixSpan方法挖掘出现频次高的序列模式。

4.根据权利要求1所述的一种文本实体抽取方法，其特征在于，所述步骤(1.4)中，具体聚合方式如下：对序列模式集合建立图结构，图中每个顶点是一个序列模式，两个模式之间的边通过两个模式之间共同的实体类型数量、共同的上下文词数量、相同的实体抽取结果数量这三个特征来定义，基于以上三个特征训练回归模型来赋予每条边权重，用分团算法得到子图，即序列模式子集。