[发明专利]一种基于BERT语义增强的因果关系抽取方法

说明书

本发明公开了一种基于BERT语义增强的因果关系抽取方法。所述因果关系抽取方法包括：因果关系候选词库、BERT预训练、因果关系抽取。该方法是一种快速提取文本中存在的因果关系的信息抽取技术，核心任务是在LeakGAN对抗神经网络模型的架构下建立基本模型和增强模型进行对抗学习获得高区分度的特征，分析评论文本中存在的因果关系，实现语义增强下的深层次抽取。该方法基于对抗神经网络的对抗性学习更有区分度的特征，提高因果关系抽取的准确度，可应用于事件预测、问答系统以及情景生成等方面。

技术领域

本发明涉及因果关系抽取领域，尤其涉及一种基于BERT语义增强的因果关系抽取方法。

背景技术

近年来，因果关系抽取技术在自然语言处理任务的各个方面都已经产生影响，得到了广泛的应用。由于不同领域其因果关系模式的独特性和多样性、评论文本语义结构的复杂性、表达方式的多样性等因素，不可避免的增加了不同领域评论文本因果关系抽取的难度。

在事件预测、问答系统以及情景生成等方面，因果关系抽取技术有很高的应用价值。同时，由于评论文本信息冗余量大，需要用机器学习手段快速提取出有价值的信息，因此因果关系抽取是一项重要的任务。评论文本具有复杂专有名词、价值密度低、信息零碎等特点，使得文本存在语义模糊问题，导致因果关系抽取的准确率低，使得因果关系抽取同样也是一项具有挑战性的任务。

针对现有因果关系抽取上存在语义模糊问题导致特征学习困难的缺陷，提出一种基于BERT语义增强的因果关系抽取方法。

发明内容

本发明的目的在于提供一种基于BERT语义增强的因果关系抽取方法。这是一种针对现有因果关系抽取上存在语义模糊特征学习困难的缺陷，结合了BERT预训练技术和LeakGAN对抗神经网络模型，提出语义增强的因果关系抽取方法。该方法的主要任务是使用构建的因果关系抽取模型学习具有高区分度的特征，同时结合因果关系候选词库，提高因果抽取的准确度。为了实现上述功能，本发明提供的技术方案，包括如下步骤：

1)构建因果关系候选词库。本文使用了因果关系先验知识与语义数据相结合的方法，从金融领域评论文本中提取因果关系候选词，在BERT预训练的过程中，将提取的候选词选择匹配度最高的3个候选词传入BERT，更好的学习句子中复杂的专有名词。

2)构建因果关系抽取模型。为了使模型学习更多的语义信息，采用重复描述因果关系的方法，增强了文本语义的表示，同时为了更好的学习特征，进行多特征融合，进一步解决了模糊语义对因果关系抽取的影响，帮助用户更高效的抽取因果关系。

所述构建因果关系候选词库，由于因果关系通常都是具有较大情感极性强度的词组，因此本发明将优先考虑词组的情感极性强度。由于因果关系可能是正向的情感，也可能的是负向的情感，因此不单考虑是为正向情感词还是为负向情感词，更多考虑的是词组的情感度，选用的是知网的Hownet情感词典，首先计算情感词典中情感词语在金融领域评论语料库中的频率，再结合评论文本中人工标注的情感强度加权计算出因果关系词组的情感强度(the Emotional Intensity of Causal Words，EIC)，筛选出数值较大的2000个词语，构成因果关系词的情感强度词库。

进一步的，所述情感强度划分为4个等级，分别为0级、1级、2级、3级，划分的依据主要考虑以下2个方面：短语中每个词的情感强度的加权平均值、短语在整个标注语料库中出现的频率。

进一步的，所述因果词情感强度(the Emotional Intensity of Causal Words，EIC)用于衡量因果词i在标注语料库中的情感强度，即从因果关系词中计算因果关系词的情感极性强度，借助情感强度特征可以更准确的抽取因果关系词，提高抽取的准确度，如公式EIC_i＝|F_i*I_i|*E_i*W_i。