[发明专利]一种基于动态记忆网络的实体级别情感分类系统及方法

权利要求书

1.一种基于动态记忆网络的实体级别情感分类系统，其特征在于，包括一个动态记忆网络，所述动态记忆网络包括输入模块、问题模块、记忆模块和回答模块；利用动态记忆网络将实体级别情感分类问题建模为问答模型；其中，输入模块用于对已指定实体目标的输入文本进行编码处理以得到文本向量表示；

问题模块中设计针对实体目标词的问题，为记忆模块每次更新提供注意对齐的特征信息；

记忆模块分别通过多跳注意力和记忆更新两个子模块对文本输入表示进行记忆提取与记忆更新，并将最终更新特征传输给回答模块；

回答模块，用于对记忆模块所提取的特征进行情感极性预测以及模型训练；在训练完模型后，训练模型能够完成实体级别的情感分类，包括正向、中立以及负向情感极性；

所述问题模块中设计针对目标词的问题，具体包括

通过设计目标词所对应的情感问题编码得到实体词特征表示，首先将所设计问题映射为问题词向量序列，接着利用单层双向GRU结构对其进行编码得到目标词的编码表示，定义GRU编码后的最终时刻隐层状态为q₀；此外，为了使问题表征空间与输入表征空间存在特征差异，在GRU编码所得到的特征基础上加入非线性层，最终问题模块输出为：

q＝tan(W^(q)q₀+b^(q))

其中q₀为GRU编码的最终隐层状态，W^(q)和b^(q)为问题编码参数；

所述记忆模块的多跳注意力机制包括：软注意力，基于注意力机制的GRU网络和内部注意力GRU网络；

所述记忆模块每次attention step后采用ReLU结构来更新信息，计算如下：

m⁰＝q

m^k＝ReLU(W^k[m^k-1；c^k；q]+b)

其中利用问题编码表示q初始化记忆m⁰，W^k和b^k为记忆更新参数；其中，k表示第k次注意，b表示偏置参数，c^k表示第k次注意所提取的记忆特征信息。

2.根据权利要求1所述的基于动态记忆网络的实体级别情感分类系统，其特征在于，所述输入模块中还加入单词位置信息以及残差结构以增强输入表示。

3.根据权利要求2所述的基于动态记忆网络的实体级别情感分类系统，其特征在于，所述输入模块对输入文本进行编码处理得到文本向量表示具体包括；

给定输入文本序列{w₁,w₂,...,w_n}以及对应实体目标n表示文本中包含的单词个数，表示构成实体目标的第m个单词，首先利用预训练词向量将输入文本序列映射成词向量序列{e₁,e₂,...,e_n}，将词向量序列堆叠成词向量矩阵其中d代表词向量维度；

采用单层双向GRU结构对融合后的向量进行编码处理，得到编码后向量表示编码如下所示：

其中，GRU^f表示前向GRU网络，GRU^b表示后向GRU网络，表示双向GRU网络的输出隐向量。

4.根据权利要求3所述的基于动态记忆网络的实体级别情感分类系统，其特征在于，所述输入模块中还加入单词位置信息以及残差结构以增强输入表示，具体包括：

首先计算上下文中的词与实体词的相对距离，定义为p_i，借鉴词向量训练方式，将相对位置映射为位置向量，定义为l_i，并将其视为网络可以自动学习参数；为了将位置向量与词向量融合，采用向量对应元素相加方法：s_i＝e_i+l_i，最终得到融合向量序列{s₁,s₂,...,s_n}；

将该残差结构结构引入输入模块增强文本表示，输入模块最终输出的编码表示为：

其中e_i表示词向量。