[发明专利]一种基于双层attention机制的词嵌入方法、设备及存储设备在审
| 申请号： | 201910318341.6 | 申请日： | 2019-04-19 |
| 公开（公告）号： | CN110147446A | 公开（公告）日： | 2019-08-20 |
| 发明（设计）人： | 姚宏;陈仁谣;刘超;董理君;康晓军;李新川;李圣文;梁庆中;郑坤 | 申请（专利权）人： | 中国地质大学（武汉） |
| 主分类号： | G06F16/35 | 分类号： | G06F16/35;G06F16/36;G06F17/27 |
| 代理公司： | 武汉知产时代知识产权代理有限公司 42238 | 代理人： | 孙丽丽 |
| 地址： | 430000 湖*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种基于双层attention机制的词嵌入方法、设备及存储设备，其方法包括：首先通过attention获取词汇内部不同语义对应的不同义原的权重；再对词汇内部不同语义对应的不同义原进行加权和计算得到词汇内部不同语义的向量表示；然后通过attention获取词汇内部不同语义的权重；最后对词汇内部的不同语义进行加权和计算得到词向量表示。一种基于双层attention机制的词嵌入设备及存储设备，用于实现一种基于双层attention机制的词嵌入方法。本发明的有益效果是：本发明所提出的技术方案创新性地引入attention机制来捕捉词汇内部的语义权重以及语义内部的义原权重，可以更加深入和准确的描述词汇内部的语义随上下文的变化，从而能够更好的对词汇在上下文中的语义进行表达。 | ||
| 搜索关键词： | 语义 词汇 权重 存储设备 嵌入 加权和计算 创新性地 嵌入设备 向量表示 词向量 捕捉 引入 | ||
【主权项】：
1.一种基于双层attention机制的词嵌入方法，其特征在于：包括以下步骤：S101：利用HowNet语义知识库，找出分完词的待处理语料中的各个词汇，对应的语义和语义的义原，从而生成各词汇的词汇‑语义‑义原的对应关系，进而根据所述对应关系初始化所有词汇的向量表示和各词汇对应的所有语义的义原的向量表示；S102：根据所有词汇的向量表示和所有词汇对应的所有语义的义原的向量表示，使用义原级别的attention得到各词汇在同一语义下不同义原的权重；S103：根据各词汇在同一语义下不同义原的权重，对各词汇的各个语义对应的所有义原进行加权计算得到各词汇的各个语义的向量表示；S104：根据各词汇的各个语义的向量表示，使用语义级别的attention得到各词汇的各个语义的权重；S105：根据各词汇的各个语义的权重，对各词汇的所有语义进行加权计算，得到所述语料的各词汇的向量表示。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国地质大学（武汉），未经中国地质大学（武汉）许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910318341.6/，转载请声明来源钻瓜专利网。
