[发明专利]基于动态词向量和层级神经网络的文档级情感分类方法

权利要求书

1.基于动态词向量和层级神经网络的文档级情感分类方法，其特征在于，包括以下步骤：

S1、通过构建并训练双向语言模型以获得高质量的动态词向量；包括以下步骤：

S1.1、构建并训练双向语言模型；所述双向语言模型为一个两层的语言模型，每层均由双向长短期记忆神经网络biLSTM组成，该语言模型以句子作为输入单位，在输入层将句子输入到第一层语言模型中以计算该句子出现的概率，而句子的概率由计算句子中每一个单词从前向和后向出现的概率累乘得到；第一层的输出向量作为第二层语言模型的输入再进行训练，单词的动态词向量由输入层和两层语言模型的输出经加权求和得到；

每层biLSTM的隐藏层单元数均为128，输出的向量维度为256，所述双向语言模型的输入为一个由N个单词组成的句子序列(w₁，w₂，...，w_N)，该序列输入到两层biLSTM中，两层biLSTM分别从前向和后向提取输入的单词序列中的特征，第一层提取单词的语义特征，第二层提取和上下文环境相关的语法特征，最后的词向量由两层biLSTM的输出向量和输入层向量经加权求和后得到；

所述双向语言模型的训练目标为使得单词序列中的每一个单词都生成对应的词向量，双向语言模型的训练过程中，使用10亿单词训练集对该模型训练10个epoch，mini-batch设置为64，训练机器为GTX TitanX×4；

S1.2、将文档中的单词序列输入到训练好的双向语言模型中，得到高质量的动态词向量；动态词向量的生成过程如下：

给定一个由N个单词组成的句子(w₁，w₂，...，w_N)，定义如下所示的计算句子的概率的双向语言模型(biLM)：

p(w₁，w₂，...，w_N)＝Π_k＝1p(w_k|w₁，w₂，...，w_k-1)；  (1)

p(w₁，w₂，...，w_N)＝Π_k＝1p(w_k|w_k+1，w_k+2，...，w_N)；    (2)

公式(1)和(2)分别表示从前向和后向处理输入语句的语言模型，w_k表示第k个单词，p()表示求取概率；biLM由最大化前向和后向语言模型的联合对数概率之和得到：

将biLM堆叠L层以进一步提取高级语义特征，单词w_k的表征通过聚合所有层的特征来计算：

其中，表示输入层LM，表示计算第k个单词时的第j层biLM，L为biLM堆叠的层数，设定L为2，即堆叠双层；

单词w_k的最终词向量通过对输入层LM、第1到第L层的biLM加权求和得到：

其中，Emb(w_k)为第k个单词的词向量表示，α_j为第j层的权重值，该值被随机初始化为[0，...，1]之间，在训练过程中作为超参数自动学习得到，R_k，j为单词w_k在第j层的表示；

S2、将得到的动态词向量输入到层级神经网络中以对文档进行建模以获得文档表征向量，并将该向量输入到softmax函数中以对文档进行分类；包括以下步骤：

S2.1、构建层级神经网络；所述层级神经网络由两层网络构成：

第一层中，使用双向门控循环神经网络biGRU和注意力机制来对文档中的句子进行建模以获得句子表征；其中，biGRU用于捕获句子中的长依赖关系，注意力机制用于提取句子中的重要单词；

第二层中，将所有的句子表征传入另一个biGRU以获得文档的初步表征，biGRU由重置门和更新门组成，用于控制将哪些历史状态信息保存到当前状态中；第二层中使用了biGRU网络两种不同类型的输出：

第一种，biGRU的每个神经单元都输出一个向量并组成一个矩阵，然后使用卷积神经网络CNN提取该矩阵的局部特征，获得局部特征向量；

第二种，将biGRU的最后一个神经单元作为输出以获得文档的全局特征向量；

将CNN提取的局部特征向量和biGRU提取到的全局特征向量相结合以得到最终的文档表征向量，该向量输入至softmax函数以得到文档的情感分类结果；双向门控循环神经网络biGRU中，GRU由两个门组成，即重置门r_t和更新门z_t，用于控制将哪些信息保存到当前状态g_t；在当前时间t，前向将信息更新为：

z_t＝sigmoid(W_zx_t+U_zg_t-1+b_z)；    (7)

r_t＝sigmoid(W_rx_t+U_rg_t-1+b_r)；       (8)

其中x_t，g_t-1，分别是输入向量，上一状态和当前候选状态；○表示乘法运算；公式(7)决定保留过去信息的状态单元的数量以及添加了多少新信息，而公式(8)控制过去状态对当前状态的贡献；如果(8)等于零，则丢弃先前的状态；是在训练期间学习的超参数；H和d是隐藏单位和输入向量的维度；

前向处理从w₁到w_N的句子，而后向从w_N到w₁处理句子；将和相连接以得到biGRU：

x_i＝Emb(w_i)，i∈[1，N]；

其中，和分别表示将单词x_i输入到前向和后向GRU中，两者对应的输出向量为和和相连接后得到了双向门控循环神经网络biGRU的输出g_i；所述注意力机制用于提取出对句子语义重要的单词：

首先，使用单层MLP获得g_t的隐藏层表示u_t：

u_t＝tanh(W_wg_t+b_w)；    (14)

其中，W_w和b_w在训练期间学习的超参数；使用softmax函数来衡量每个单词的重要性，表示为α_t：

最后，使用α_t计算单词注解g_t的加权和来获得句子S的表示：

S＝∑_tα_tg_t；    (16)

每个句子S的表示是一个与具有相同形状的向量，前向和后向GRU级联后是原始维度的两倍；

所述卷积神经网络CNN的结构包含卷积层、最大池化层和全连接层；其中，卷积层中使用卷积滤波器对输入的矩阵进行卷积操作以得到特征图，最大池化层使用池化操作提取特征图中的最优特征，最后使用全连接层将最优特征向量映射至所需的维度；卷积神经网络CNN提取文档特征的过程如下：

给定包含L个句子的文档，通过层级神经网络的第一层得到句子向量集合[S₁，S₂，...，S_L]，将句子向量输入到biGRU中，该biGU的每个状态单元均输出一个向量并组成矩阵M＝[S′₁，S′₂，...，S′_L]，

令为卷积滤波器，该卷积滤波器每次处理h个句子；使用卷积滤波器从文档矩阵M中提取特征并生成特征图m，第s个卷积滤波器的特征m_s由如下生成：

m_s＝tanh(fM_s：s+h-1+b)；    (17)

其中，b是偏置项，tanh()为激活函数；最终生成的特征图m为：

m＝[m₁；m₂；...；m_L-h+1]；    (18)

然后在m上应用最大池化操作，最大池化操作是指：对于特征图m的每一行向量，取其最大值作为该行向量的最优特征，然后通过全连接层将最大池化后的特征向量映射到最终的文档表征向量由g_last和r级联后得到，其中g_last为第二种biGRU的输出向量；

S2.2、将步骤1中得到的动态词向量输入层级神经网络中，得到文档表征向量，该向量输入至softmax函数以得到文档的情感分类结果；文档的情感分类结果p经softmax函数计算得到：

p＝softmax(W_cv+b_c)；    (19)

其中，W_c和b_c分别为权重值和偏置项，两者均为在训练期间学习得到的超参数，c为文档的情感类别数，v表示最终的文档表征向量。