[发明专利]一种基于BERT对抗训练的比较句情感分析方法及系统

说明书

本发明公开了一种基于BERT对抗训练的比较句情感分析方法及系统，通过将预训练语言模型BERT与对抗训练过程相结合，从而创新地获取评论文本中更加丰富的语义特征信息，并降低数据集中大量的非比较句所带来的噪声影响，提升对于比较句情感分析的性能。本发明通过引入预训练语言模型BERT对输入的评论文本进行编码，有效地识别比较句文本中的深层语义以及逻辑关系；通过引入对抗训练过程，可以降低数据集中大量的非比较句带来的干扰，并且可以识别出比较句中数据样本较小的“WORSE”类别的文本，从而有效地预测出评论中的情感倾向。本发明在真实数据集上进行的广泛实验，证实了与最先进的模型相比本发明具有更加良好的性能。

技术领域

本发明属于比较句识别技术领域，涉及一种基于BERT对抗训练的比较句 情感分析方法及系统。

背景技术

近年来，随着互联网迅速发展以及社会化媒体的日益普及，网购用户数目 逐年递增，越来越多的用户愿意在网站上对商品进行评论。这些评论承载用户 对产品的使用感受以及建议，蕴含着大量有价值的信息。不仅可以为其他消费 者提供参考，也可以为商家提供改进建议。但是由于网络信息过载等问题，用 户无法没有时间充分阅读浏览全部的评论，而且还有可能会被大量的信息干扰 信息所影响，无法在短时间内对商品的质量或者购买倾向做出正确有效的决策。 特别是在用户评论中存在着一些比较或者对比的评论，这种比较句通常表达多 个实体之间关于某种属性特征的优先偏好排序的情况，这些比较评论不仅可以 帮助消费者快速做出有效的判断，还可以帮助商家更直观的发现其与竞争对手间的差距并做出相应的改进。因此，近年来如何对用户评论中的比较句进行情 感分析，判断出评论者更倾向于哪一个比较实体已成为电商界和学术界中需要 迫切解决的关键性问题之一。

现有的比较句识别方法首先从句子中提取比较句的句法结构特征，然后使 用机器学习方法对提取到的特征进行有监督学习。而比较句情感分析则是在比 较句识别的基础上，进一步使用标签序列标注(LSR)、语义角色标注、CRF等 方法判别比较句中对实体的情感倾向与优先排序。由于比较句中的情感分析任 务需要判断出评论者在两个比较实体对象之间更倾向于哪一个对象，其中存在 着明显的逻辑关系。而传统的研究方法大多没有充分利用评论文本内在深层语 义以及上下文依赖关系，无法有效地学习到其中的逻辑信息。此外，由于比较 句研究的公开数据集十分有限，从现有的情感分析数据集中，存在的比较句样 本数量较少，只占数据集总体的13％左右。并且在这些比较句类别中，“BETTER” 类别占70％左右(“BETTER”即评论者更倾向于第一个比较实体)。而大量的 非比较句对于模型的学习来说会带来大量的干扰信息；同时，由于比较句中的 “WORSE”类别数据样本较少，对于该类情感的识别也成为了一大难点，而经 典的比较句情感分析研究方法并没有注意到数据集中比较句样本数量较小的问 题。

发明内容

本发明的目的在于解决现有技术中的问题，提供一种基于BERT对抗训练 的比较句情感分析方法及系统。本发明主要的任务是通过将预训练语言模型 BERT与对抗训练过程相结合，从而创新地获取评论文本中更加丰富的语义特 征信息，并降低数据集中大量的非比较句所带来的噪声影响，提升对于比较句 情感分析的性能。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于BERT对抗训练的比较句情感分析方法，包括以下步骤：

使用预训练语言模型BERT对输入的评论文本与评论中的两个比较对象进 行编码；

对编码后的评论文本进行对抗训练，得到文本语义信息、上下文依赖关系 以及逻辑关系；

依据文本语义信息、上下文依赖关系以及逻辑关系，利用Softmax函数获 得最终比较句情感概率分布，并计算损失。

上述方法进一步的改进在于：

所述使用预训练语言模型BERT对输入的评论文本与评论中的两个比较对 象进行编码，包括：