[发明专利]一种基于对抗训练融合BERT的微博文本情感分析方法及系统

说明书

本发明涉及自然语言处理的情感分析技术领域，公开了一种基于对抗训练融合BERT的微博文本情感分析方法及系统，包括：S1文本预处理步骤：读取原始微博文本数据集，进行数据扩充，得到预处理文本数据；S2预训练步骤：将预处理文本数据输入增量BERT模型中进行训练，得到增量预训练模型；S3下游微调步骤：将增量预训练模型结合预处理文本数据集进行微调，并结合对抗训练的方法，对Embeddings的权重矩阵进行扰动，输出保存为情感分类预测模型；通过所述情感分类预测模型执行目标任务，输出目标微博文本数据情感分析结果。本发明融合对抗训练和增加外部数据，提升了模型预测的精确性与鲁棒性，可以使BERT在微博情感分类领域的发挥更好的作用。

技术领域

本发明涉及自然语言处理的情感分析技术领域，具体涉及一种基于对抗训练融合BERT的微博文本情感分析方法及系统。

背景技术

随着科技的快速发展，智能手机的迅速普及，城乡上网条件的差距持续缩小。以新浪微博为例，作为分享简短实时咨询的重要社交平台，用户可以发布不超过140字的博文和评论。大量的微博文本信息中包含着多彩多样的个人情感，这些信息反映了某段时间内用户对某件事情或某个观点的态度和看法，最终结果呈现出情感倾向。通过分析微博文本的情感倾向，一方面，对政府部门来说，可以第一时间了解某个社会事件或话题下社会群众的普遍看法，及时回应大众关心的问题，有效遏止谣言的传播，维护社会的和谐与稳定。另一方面，情感分析也能很好地为生产商的市场调研服务，生产商能够利用使用者的反馈及时改进产品，挖掘出潜在的优点；经销商也能通过情感分析预测大众对产品的态度，及时制定合适的营销策略；消费者则能通过产品的情感分析及时了解到其他使用者的真实感受。

目前，对于微博文本此类具有数据量大，时效性高等特点的短文本分类预测任务中，普遍存在以下不足：

（1）分类精度低、数据处理慢。传统领域的方法如词典、规则等都面临耗费大量人力物力财力的问题。基于机器学习的分析方法虽然能避免人工给词典标注分数的主观缺陷，大部分情况下其分类精度也都远超基于词典的方法。但是其成效很大程度上取决于特征工程，也就是数据集的标注、清洗等工作，这个过程也是需要耗费大量的人力。而对于上下文之间的联系，机器学习目前只能通过机械的增加特征维度的方式实现，但随着数据量的增长，诸如语言模型N-gram往前考虑N个字的方法容易引发维度爆炸的问题。

（2）无法在大型文本上做到快速的情感分析。目前在深度学习领域已经有不少学者提出了许多可靠的情感分析算法和模型，谷歌团队提出了一种全新的深度网络结构——Transformer架构，并在此基础上提出了预训练语言模型BERT，其在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩。基于Transformer架构的BERT模型完全抛弃了深度学习中常用的卷积神经网络和循环神经网络，其原因在于卷积神经网络对于长文本的上下文特征提取并没有比较理想的效果；循环神经网络核心依然是序列结构，无法解决并行计算的问题；基于长短期记忆网络(Long Short-Term Memory, LSTM)的语言模型ELMo的特点是对上下文提取的语义信息仅仅是用作简单的拼接，无法实现真正的同时兼顾上下文，提取更多的隐藏特征。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种基于对抗训练融合BERT的微博文本情感分析方法及系统，其融合对抗训练和增加外部数据，提升了模型预测的精确性与鲁棒性，可以使BERT在微博情感分类领域的发挥更好的作用。

本发明实施例第一方面公开了一种基于对抗训练融合BERT的微博文本情感分析方法，包括以下步骤：

S1文本预处理步骤：读取原始微博文本数据集，对原始微博文本数据集进行数据扩充，得到预处理文本数据；

S2预训练步骤：将所述预处理文本数据输入增量BERT模型中进行训练，得到增量预训练模型；