[发明专利]一种基于BERT对抗训练的比较句情感分析方法及系统

权利要求书

1.一种基于BERT对抗训练的比较句情感分析方法，其特征在于，包括以下步骤：

使用预训练语言模型BERT对输入的评论文本与评论中的两个比较对象进行编码；

对编码后的评论文本进行对抗训练，得到文本语义信息、上下文依赖关系以及逻辑关系；

依据文本语义信息、上下文依赖关系以及逻辑关系，利用Softmax函数获得最终比较句情感概率分布，并计算损失。

2.根据权利要求1所述的基于BERT对抗训练的比较句情感分析方法，其特征在于，所述使用预训练语言模型BERT对输入的评论文本与评论中的两个比较对象进行编码，包括：

采用预训练语言模型BERT对输入的评论文本S进行batch数据的编码，将要输入的评论文本S与评论中的两个比较对象表示为“[CLS]评论文本[SEP]比较对象1，比较对象2[SEP]”的格式；其中，用户的评论文本S＝{w₁,w₂,w₃,...,w_n-1,w_n}，评论中的比较对象{C＝c_obj1,c_obj2}，w_n是评论中的单词；使用预训练语言模型BERT的最后一层输出作为输入的评论文本的隐藏层向量h_i，H表示代表编码后隐藏层的维度，n表示输入的评论文本的序列长度。

3.根据权利要求2所述的基于BERT对抗训练的比较句情感分析方法，其特征在于，所述对评论文本进行编码是采用预训练语言模型BERT的双句输入模式进行编码的。

4.根据权利要求2所述的基于BERT对抗训练的比较句情感分析方法，其特征在于，所述对编码后的评论文本进行对抗训练，包括：

每完成一对batch数据的编码，产生一个随机数τ，若随机数τ＜0.5开始对抗训练，所述随机数τ如下：

τ＝random() (1)

以迭代的方式根据梯度生成对抗干扰，当开始第一轮迭代时，则在预训练语言模型BERT的原始输入词嵌入的word_embedding的参数权重W_word的基础上添加根据梯度得到的对抗扰动r_at，得到当前迭代轮次添加干扰后的参数权重t^k：

t^k＝W_word+r_at (2)

其中，k为当前迭代轮次；θ为参数；G为梯度，||G||为梯度的范数，使对抗扰动r_at的方向与梯度G一致；

通过阈值ε控制添加干扰后的文本语义与原文本语义的差异性d，若差异性d的范数大于阈值ε，则使用截断器Chopper对差值进行截断：

d＝t-W_word (5)

其中，g表示最终通过截断器后所确定的当前轮次的对抗干扰；

当前迭代轮次的word_embedding的参数权重O^k为：

O^k＝W_word+g (6)

在后续的迭代轮次中，在计算当前迭代轮次中的添加干扰后的参数权重t^k时，在上一轮迭代中得到的word_embedding的参数权重O^k-1的基础上添加对抗扰动r_at：

t^k＝O^k-1+r_at (7)

迭代完成后在预训练语言模型BERT中使用新生成的添加扰动后的word_embedding权重参数O^k对输入的评论文本进行编码，得到对抗样本，执行对抗训练，得到文本语义信息、上下文依赖关系以及逻辑关系。