[发明专利]自注意力路由胶囊网络的方面级情感分析方法

说明书

本发明公开了基于自注意力路由胶囊网络的方面级情感分析方法，生成训练集和测试集，通过预训练的Glove模型对句子和对应的实体进行词向量化；计算实体的增强表示；通过预训练的BERT Encoder模型对实体的增强表示和实体的词向量进行编码，获得上下文表示和实体表示；计算上下文胶囊的实体相关权重；将得到的上下文胶囊作为第一层分类胶囊层中的各个分类胶囊，相邻层的分类胶囊层之间经过自注意力路由层连接，最后一层分类胶囊输出最终的情感标签分类结果。本发明通过位置偏差权重构建了实体的增强表示，限制实体和上下文之间的相关信息；可以更多地关注特定的实体特征。

技术领域

本发明涉及神经网络分类技术领域，具体涉及自注意力路由胶囊网络的方面级情感分析方法，适用于句子中一个或多个提到的实体的情感标签识别。

背景技术

方面级情感分类(ASC)任务旨在识别句子中一个或多个提到的实体的情感标签，这是基于方面的情感分析(ABSA)的关键细粒度变体子任务。例如，一句话写为“天气很好，但交通很拥挤。”在“天气”和“交通”两个实体，他们相应的情感极化分别是积极的和消极的。与文档级情感分类(DSC)相比，ASC任务旨在预测特定方面而不是整个句子的情感极性。

传统的情感分类方法大多利用机器学习算法构造具有精心提取特征的情感分类器，这需要花费大量的时间和资源来收集。近年来，各种深度神经网络(DNN)由于其显著的结果，已经对ASC任务进行了建模，主要包括基于注意力的方法、基于语法的方法和基于预训练BERT的方法。例如，基于LSTM的模型利用注意机制来建模方面特征和LSTM隐藏单元之间的依赖关系。基于图的模型用于将语法邻域词信息传播到方面信息。基于BERT的方法得益于预训练模型的强大表示能力。

此外，由于其capsule向量和用于适当存储和聚类特征的动态路由方法，capsule网络已被用于ASC任务。与分布式神经网络相比，胶囊网络不仅可以用矢量输出胶囊代替标量输出特征检测器，而且可以保留额外的信息，如相位的频率和位置信息。例如，TransCap将胶囊网络与归纳转移学习相结合，成功解决了ASC任务中的数据稀缺问题。CapsNet利用一种新的方面感知归一化方法来选择主胶囊，以避免特征丢失。然而，在通过胶囊网络的ASC任务中仍然存在一个需要解决的问题。这是胶囊网络中原有的动态路由机制，由于路由的迭代过程，其训练效率低下。

发明内容

本发明的目的在于针对现有技术存在的上述问题，提供自注意力路由胶囊网络的方面级情感分析方法。

为了实现上述的目的，本发明采用以下技术措施：

基于自注意力路由胶囊网络的方面级情感分析方法，包括以下步骤：

步骤1、选取基准数据集，对基准数据集进行预处理并生成训练集和测试集，训练集中的每个样本包括句子和句子中的一个实体；

步骤2、通过预训练的Glove模型对句子和对应的实体进行词向量化，获得句子的词向量和实体的词向量；

步骤3、根据句子的词向量和实体的上下文之间的相对位置信息t_i，计算实体的增强表示P＝{p₁,p₂,…,p_n}，n为句子的单词长度；

步骤4、通过预训练的BERT Encoder模型对实体的增强表示P＝{p₁,p₂,…,p_n}和实体的词向量进行编码，获得上下文表示H＝[h₁,h₂...,h_n]和实体表示h_α；