[发明专利]基于层次性多注意力网络的文档分类方法

权利要求书

1.基于层次性多注意力网络的文档分类方法，其特征在于，包括以下步骤：

(1)利用Bi-GRU模型对句子中每个词语依据其词向量进行编码，以获取词语间上下文信息；

(2)引入Soft attention机制对句子中不同词语依据对应的编码进行注意力权重分配，以表示句子中不同词语的重要程度；

(3)通过对句子中每个词语依据对应的编码和权重加权求和来获得句子的向量表示。

(4)由句子的向量表示，利用Bi-GRU模型对文档中每个句子进行编码，以获取句子间上下文信息；

(5)引入CNN attention机制对文档中不同句子依据其编码进行注意力权重分配，以表示文档中不同句子的重要程度；

(6)通过对文档中每个句子依据其编码和权重加权求和来获得文档的向量表示；

(7)由获得的文档的向量表示，通过softmax函数输出最终的分类结果。

2.如权利要求1所述基于层次性多注意力网络的文档分类方法，其特征在于所述步骤(1)具体是：假设文档中有L个句子，第i个句子包含T_i个词语，x_it表示第i个句子中第t个词语，其向量化表示为w_it；采用Bi-GRU网络对句子中的每个词语进行编码，以获取词语间上下文信息，具体过程为：

其中h_it由前向输出及后向输出拼接得到，包含序列的上下文信息。

3.如权利要求1所述基于层次性多注意力网络的文档分类方法，其特征在于所述步骤(2)包括以下步骤：

(2-1)基于步骤(1)，经Bi-GRU网络输出的h_it有考虑到词语的先后关系，将当前词的Bi-GRU网络输出h_it输入到单层感知机(MLP)中，获得每个词相应的输出u_it，具体公式如下：

u_it＝tanh(W_wh_it+b_w)；

其中W_w为h_it的权重矩阵，b_w为h_it的偏置；

(2-2)通过softmax函数归一化操作后得到注意力权重α_it，也就是每个词对应的重要性指标，具体公式如下：

其中的为u_it的转置矩阵。

4.如权利要求1所述基于层次性多注意力网络的文档分类方法，其特征在于所述步骤(3)具体是：基于步骤(1)所得的h_it和步骤(2)所得的α_it，通过加权求和来获得句子的向量表示：

5.如权利要求1所述基于层次性多注意力网络的文档分类方法，其特征在于所述步骤(4)具体是：文档中第i个句子的向量表示为s_i,参照步骤(1)，利用Bi-GRU网络来对句向量进行编码，具体公式如下：

其中h_i由前向输出及后向输出拼接得到，包含序列的上下文信息。