[发明专利]一种结合多头自注意力机制的CNN文本分类方法在审
| 申请号： | 202010040278.7 | 申请日： | 2020-01-15 |
| 公开（公告）号： | CN111259666A | 公开（公告）日： | 2020-06-09 |
| 发明（设计）人： | 刘星辰;陈晓峰;麻沁甜 | 申请（专利权）人： | 上海勃池信息技术有限公司 |
| 主分类号： | G06F40/289 | 分类号： | G06F40/289;G06F40/30;G06N3/04;G06N3/08;G06K9/62 |
| 代理公司： | 上海领洋专利代理事务所(普通合伙) 31292 | 代理人： | 俞晨波 |
| 地址： | 200000 上海市*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种结合多头自注意力机制的CNN文本分类方法,包括：获取待分类文本的分词序列，并进行特殊符号和停止词过滤等预处理；查询预设或随机初始化的词嵌入模型获取分词序列的嵌入矩阵，矩阵的每一行为各分词的嵌入向量；针对所得嵌入矩阵的各行向量，叠加该向量对应分词的位置编码向量；对叠加位置编码后的嵌入矩阵通过自注意力机制生成自注意力矩阵；重复若干次自注意力矩阵的生成，将生成的多个矩阵在列的维度上进行拼接；将词序列拼接后的自注意力矩阵与加权矩阵相乘，实现降维和融合；将降维和融合后的自注意力矩阵输入CNN，进行训练或者预测。 | ||
| 搜索关键词： | 一种 结合 多头 注意力 机制 cnn 文本 分类 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海勃池信息技术有限公司，未经上海勃池信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010040278.7/，转载请声明来源钻瓜专利网。
