[发明专利]基于层次性多注意力网络的文档分类方法在审
申请号: | 201811314237.1 | 申请日: | 2018-11-06 |
公开(公告)号: | CN109558487A | 公开(公告)日: | 2019-04-02 |
发明(设计)人: | 黄英仁;王子文;薛云 | 申请(专利权)人: | 华南师范大学 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F17/27;G06N3/04 |
代理公司: | 广州粤高专利商标代理有限公司 44102 | 代理人: | 江裕强 |
地址: | 510006 广东省广州市番禺区*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文档 句子 文档分类 注意力 层次性 权重 词语 序列模型 建模 上下文信息 注意力机制 句子级别 模型获取 准确率 分配 网络 引入 | ||
1.基于层次性多注意力网络的文档分类方法,其特征在于,包括以下步骤:
(1)利用Bi-GRU模型对句子中每个词语依据其词向量进行编码,以获取词语间上下文信息;
(2)引入Soft attention机制对句子中不同词语依据对应的编码进行注意力权重分配,以表示句子中不同词语的重要程度;
(3)通过对句子中每个词语依据对应的编码和权重加权求和来获得句子的向量表示。
(4)由句子的向量表示,利用Bi-GRU模型对文档中每个句子进行编码,以获取句子间上下文信息;
(5)引入CNN attention机制对文档中不同句子依据其编码进行注意力权重分配,以表示文档中不同句子的重要程度;
(6)通过对文档中每个句子依据其编码和权重加权求和来获得文档的向量表示;
(7)由获得的文档的向量表示,通过softmax函数输出最终的分类结果。
2.如权利要求1所述基于层次性多注意力网络的文档分类方法,其特征在于所述步骤(1)具体是:假设文档中有L个句子,第i个句子包含Ti个词语,xit表示第i个句子中第t个词语,其向量化表示为wit;采用Bi-GRU网络对句子中的每个词语进行编码,以获取词语间上下文信息,具体过程为:
其中hit由前向输出及后向输出拼接得到,包含序列的上下文信息。
3.如权利要求1所述基于层次性多注意力网络的文档分类方法,其特征在于所述步骤(2)包括以下步骤:
(2-1)基于步骤(1),经Bi-GRU网络输出的hit有考虑到词语的先后关系,将当前词的Bi-GRU网络输出hit输入到单层感知机(MLP)中,获得每个词相应的输出uit,具体公式如下:
uit=tanh(Wwhit+bw);
其中Ww为hit的权重矩阵,bw为hit的偏置;
(2-2)通过softmax函数归一化操作后得到注意力权重αit,也就是每个词对应的重要性指标,具体公式如下:
其中的为uit的转置矩阵。
4.如权利要求1所述基于层次性多注意力网络的文档分类方法,其特征在于所述步骤(3)具体是:基于步骤(1)所得的hit和步骤(2)所得的αit,通过加权求和来获得句子的向量表示:
5.如权利要求1所述基于层次性多注意力网络的文档分类方法,其特征在于所述步骤(4)具体是:文档中第i个句子的向量表示为si,参照步骤(1),利用Bi-GRU网络来对句向量进行编码,具体公式如下:
其中hi由前向输出及后向输出拼接得到,包含序列的上下文信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华南师范大学,未经华南师范大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811314237.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:电力客服客户诉求智能识别方法
- 下一篇:基于数据对犯罪行为的多维度分析方法