[发明专利]基于层次性多注意力网络的文档分类方法在审

专利信息
申请号: 201811314237.1 申请日: 2018-11-06
公开(公告)号: CN109558487A 公开(公告)日: 2019-04-02
发明(设计)人: 黄英仁;王子文;薛云 申请(专利权)人: 华南师范大学
主分类号: G06F16/35 分类号: G06F16/35;G06F17/27;G06N3/04
代理公司: 广州粤高专利商标代理有限公司 44102 代理人: 江裕强
地址: 510006 广东省广州市番禺区*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 文档 句子 文档分类 注意力 层次性 权重 词语 序列模型 建模 上下文信息 注意力机制 句子级别 模型获取 准确率 分配 网络 引入
【权利要求书】:

1.基于层次性多注意力网络的文档分类方法,其特征在于,包括以下步骤:

(1)利用Bi-GRU模型对句子中每个词语依据其词向量进行编码,以获取词语间上下文信息;

(2)引入Soft attention机制对句子中不同词语依据对应的编码进行注意力权重分配,以表示句子中不同词语的重要程度;

(3)通过对句子中每个词语依据对应的编码和权重加权求和来获得句子的向量表示。

(4)由句子的向量表示,利用Bi-GRU模型对文档中每个句子进行编码,以获取句子间上下文信息;

(5)引入CNN attention机制对文档中不同句子依据其编码进行注意力权重分配,以表示文档中不同句子的重要程度;

(6)通过对文档中每个句子依据其编码和权重加权求和来获得文档的向量表示;

(7)由获得的文档的向量表示,通过softmax函数输出最终的分类结果。

2.如权利要求1所述基于层次性多注意力网络的文档分类方法,其特征在于所述步骤(1)具体是:假设文档中有L个句子,第i个句子包含Ti个词语,xit表示第i个句子中第t个词语,其向量化表示为wit;采用Bi-GRU网络对句子中的每个词语进行编码,以获取词语间上下文信息,具体过程为:

其中hit由前向输出及后向输出拼接得到,包含序列的上下文信息。

3.如权利要求1所述基于层次性多注意力网络的文档分类方法,其特征在于所述步骤(2)包括以下步骤:

(2-1)基于步骤(1),经Bi-GRU网络输出的hit有考虑到词语的先后关系,将当前词的Bi-GRU网络输出hit输入到单层感知机(MLP)中,获得每个词相应的输出uit,具体公式如下:

uit=tanh(Wwhit+bw);

其中Ww为hit的权重矩阵,bw为hit的偏置;

(2-2)通过softmax函数归一化操作后得到注意力权重αit,也就是每个词对应的重要性指标,具体公式如下:

其中的为uit的转置矩阵。

4.如权利要求1所述基于层次性多注意力网络的文档分类方法,其特征在于所述步骤(3)具体是:基于步骤(1)所得的hit和步骤(2)所得的αit,通过加权求和来获得句子的向量表示:

5.如权利要求1所述基于层次性多注意力网络的文档分类方法,其特征在于所述步骤(4)具体是:文档中第i个句子的向量表示为si,参照步骤(1),利用Bi-GRU网络来对句向量进行编码,具体公式如下:

其中hi由前向输出及后向输出拼接得到,包含序列的上下文信息。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华南师范大学,未经华南师范大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201811314237.1/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top