[发明专利]一种面向领域关系抽取的标注语料生成方法

说明书

本发明属于自然语言处理技术领域，涉及领域关系抽取，具体提供一种面向领域关系抽取的标注语料生成方法，用以克服领域关系抽取所面临的语料缺乏和人工代价昂贵的问题。本发明利用回译法生成同义句，将其与原句一起作为序列生成模型的训练语料，克服了领域语料不足的问题；同时，通过依存关系分析和语态判断，将训练语料中实体替换为特定的主动和被动两种掩蔽符号，使得序列生成模型直接生成关系抽取任务所需的带标注的语料；并且，通过对实体进行掩蔽，序列生成模型专注于学习实体间的关系，有效提高关系抽取的准确性。综上，本发明能够在初始语料不够充足的情况下，生成关系抽取任务所需的带标注的语料，极大地降低了人工标注成本。

技术领域

本发明属于自然语言处理技术领域，具体涉及一种面向领域关系抽取的标注语料生成方法。

背景技术

知识图谱(Knowledge Graph)以结构化的形式描述客观世界中概念、实体及其之间的关系，将互联网的信息表达成更接近人类认知世界的形式，提供了一种更好地组织、管理和理解互联网海量信息的能力。不同的领域往往需要构建本领域的知识图谱，领域构建知识图谱的首要任务是领域知识抽取；领域知识抽取是指从不同来源、不同数据中进行特定领域知识的提取，形成知识存入到知识图谱的过程。领域知识抽取可分为实体抽取、关系抽取和属性抽取三类；目前，大多数领域关系抽取采用有监督学习方法，该类方法需要大量的带标注的语料数据以训练好的模型，这使得该类方法面临两方面困难问题：(1)领域语料缺乏、其数量难以满足训练需求，(2)人工标注的代价昂贵。

针对领域语料数量不足的问题，通常的做法是采用文本增强方法来对语料进行扩充；文本增强是在已有的文本数据的基础上，通过特殊处理，构造更多的文本数据。目前文本增强方法主要有人工标注、词替换、回译、神经网络等方法；其中，回译法是近年来使用较多的一种方法，它通过将源语言翻译成另一种语言，再将得到另一种语言的句子翻译回源语言的方式，构造出源语言的增强数据；回译法虽然能生成不同句型的语料，但在文本中包含领域专业词汇(如领域实体名称)的情况下，该方法容易导致生成句子的语义发生变化。相比之下，近年出现的神经网络方法表现出更优的性能，如Seq2Seq序列生成方法，但该类方法本身就需要大量的训练语料，在语料不够充足的情况下，难以训练出理想的神经网络模型以生成高质量的文本。另外，针对人工标注的代价昂贵的问题，通常采用半监督或无监督的关系抽取方法，但这些方法的效果较有监督方法有明显的不足。

综上所述，当前技术还没有同时有效解决领域关系抽取所面临的语料缺乏和人工代价昂贵两个问题。

发明内容

本发明的目的在于针对上述现有技术的诸多问题，提供一种面向领域关系抽取的标注语料生成方法，该方法在初始语料不够充足的情况下，生成关系抽取任务所需的带标注的语料，极大地降低了人工标注成本。

为实现上述目的，本发明采用的技术方案为：

一种面向领域关系抽取的标注语料生成方法，包括模型训练和语料生成两个阶段；其特征在于，

A.模型训练，包括以下步骤：

A1.标记实体名；

A1-1.创建一个初始为空的领域实体名集合U；

A1-2.收集领域内的实体名称，并其将添加到领域实体名集合U中；

A1-3.采用中文分词工具对输入的训练句子p进行分词处理，得到分词结果w_i，i＝1,2,...,N_w、N_w为分词得到的词的总个数；

A1-4.从前往后依次考察p中的每一个词w_i，判断w_i是否存在于领域实体名集合U中，若存在，则标记w_i为实体名并对标记的实体名计数，共标记了N_n个实体名；

A2.生成同义句；