[发明专利]一种文本实体抽取方法

摘要

本发明公开了一种文本实体抽取方法，本发明利用了大量语料中信息的冗余和重复，先用短语分割和远程监督的方式得到噪声较多的实体，再挖掘实体的上下文序列模式(规则)，自动地得到了Snorkel的输入规则，利用Snorkel对噪声标签的容错能力，得到了质量比远程监督好的结果。循环地对模型和结果修正，逐渐去掉噪声，并得到更可靠的序列模式。本发明没有用标签样本，节省了人工；Snorkel的输入规则是自动得到的；结合远程监督、规则挖掘、snorkel，以及循环过程，递进式地改善结果、去除噪声，提高抽取质量。

主权项

1.一种文本实体抽取方法，其特征在于，该方法包括以下步骤：(1)规则集的自动挖掘，包括以下子步骤：(1.1)在大量的语料上进行短语分割，得到名词短语；(1.2)用远程监督的方式对名词短语进行实体和实体类型识别；(1.3)在实体和实体类型识别的结果上挖掘出现频次高的序列模式；在序列模式中，如果原语料中的名词短语被识别为实体，则用该名词短语的实体类型替换序列模式中的该名词短语；(1.4)根据序列模式中包含的实体类型，将同义的序列模式进行聚合，得到每个语义对应的序列模式子集A；(1.5)对每个语义对应的序列模式子集A中的实体类型的层级进行调整：在序列模式聚合的结果上，对每个语义对应的序列模式子集A统计其中的实体类型层级，取最多数层级作为该子集A中的实体类型层级；(1.6)对于每种实体类型，从各子集A中找出包含该类型的序列模式，得到这种实体类型对应的序列模式子集B；(2)产生有标签数据：将每种实体类型对应的序列模式子集B作为Snorkel的输入，预测出样本的标签，即实体类型，标签带有置信度；(3)训练实体抽取回归模型：用带有置信度的标签训练实体抽取回归模型，用训练好的回归模型预测语料，得到实体识别结果；(4)返回步骤(1)，用训练好的实体抽取回归模型重新预测语料，用得到的结果对步骤(1)得到的短语分割、远程监督实体识别的结果进行修正，继续剩余的步骤，重新得到实体抽取回归模型和实体识别结果；重复这一过程，直到步骤(3)得到的实体结果与上一次过程得到的结果一致。