[发明专利]一种基于动态记忆网络的实体级别情感分类系统及方法

说明书

本发明请求保护一种基于动态记忆网络的实体级别情感分类系统及方法，属于自然语言处理领域。该方法包括以下步骤：1、引入动态记忆网络将实体级别情感分类任务建模为问答系统；2、动态记忆网络中的输入模块对输入文本进行编码；3、在输入模块中加入单词位置信息以及残差结构以增强输入表示；4、在问题模块中设计针对目标词的问题；4、记忆模块通过两个子模块对输入表示进行记忆提取；5、回答模块对记忆模块所提取的特征进行情感极性预测以及模型训练。6、在训练完模型后，所训练模型能够完成实体级别的情感分类，包括正向、中立以及负向情感极性。本发明不仅能够处理简单句子而且能够正确处理复杂句式中目标实体的情感分类问题。

技术领域

本发明属于自然语言处理领域，具体属于对句子中特定实体进行情感分类的 方法。

背景技术

随着推特(Twitter)、脸书(Facebook)、微博(Weibo)等社交平台和亚马逊(Amazon)、淘宝(Taobao)等电子商务平台的兴起，网络上评论性文本资源与日俱 増。面对来自微博、论坛的大量非结构化的评论文本，迫切需要通过自然语言 处理技术对文本中特定实体进行情感类别分析。实体级别情感极性分类重在从 数据中识别用户对某种产品，服务或社会舆情的情感倾向。实践中，实体级别 情感分析对于政府管理、舆情监督、消费品经销商等部门制定策略有着非常重 要的作用。传统情感分析绝大多数都是采用传统NLP特征与机器学习相结合的 方式来构建模型。但传统NLP特征的设计往往需要专家的领域知识，人工成本 较高，系统的泛化性和迁移性差。近两年兴起的深度学习方法能较好地弥补上述方法的缺陷，深度学习能够自动学习出描述数据本质的特征表达，从而避免 了人工设计特征的缺陷。

针对实体级别情感分类任务，已有大量模型，包括基于人工特征与传统机器 学习方法，基于神经网络方法和基于记忆网络方法。但此类方法存在诸多问题， 例如传统人工特征的特区需要大量的特征工程工作以及语法知识；基于LSTM 的方法结构较为单一，无法处理复杂句式中特定实体的情感极性。例如当句子 为反问句，疑问句或者比较句时，此类方法性能严重下降。基于记忆网络等方 法仅仅利用到了句子的低层特征，并未考虑到高层语义。因此提出更有效的模 型是该任务的一项非常重要的工作。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种不仅能解决简单句式中实 体情感判为问题，而且能够有效解决复杂句式中实体情感极性判别难问题的基 于动态记忆网络的实体级别情感分类系统及方法。本发明的技术方案如下：

一种基于动态记忆网络的实体级别情感分类系统，其包括一个动态记忆网络， 所述动态记忆网络主要包括输入模块、问题模块、记忆模块和回答模块；利用 动态记忆网络将实体级别情感分类问题建模为问答模型；其中，输入模块用于 对已指定实体目标的输入文本进行编码处理以得到文本向量表示；

问题模块中设计针对实体目标词的问题，为记忆模块每次更新提供注意对 齐的特征信息；

记忆模块分别通过多跳注意力和记忆更新两个子模块对文本输入表示进行 记忆提取与记忆更新，并将最终更新特征传输给回答模块；

回答模块，用于对记忆模块所提取的特征进行情感极性预测以及模型训练； 在训练完模型后，训练模型能够完成实体级别的情感分类，包括正向、中立以 及负向情感极性。

进一步的，所述输入模块中还加入单词位置信息以及残差结构以增强输入 表示。

进一步的，所述输入模块对输入文本进行编码处理得到文本向量表示具体 包括；

给定输入文本序列{w₁,w₂,...,w_n}以及对应实体目标n表示文本中包含的单词个数，表示构成实体目标的第m个单词。首先利用预训练词向量将 输入文本序列映射成词向量序列{e₁,e₂,...,e_n}，将词向量序列堆叠成词向量矩阵其中d代表词向量维度；