[发明专利]一种深度动态上下文词语表示的方法及计算机有效
| 申请号： | 201910511211.4 | 申请日： | 2019-06-13 |
| 公开（公告）号： | CN110222349B | 公开（公告）日： | 2020-05-19 |
| 发明（设计）人： | 熊熙;袁宵;琚生根;李元媛;孙界平 | 申请（专利权）人： | 成都信息工程大学 |
| 主分类号： | G06F40/42 | 分类号： | G06F40/42;G06F40/58 |
| 代理公司： | 北京元本知识产权代理事务所(普通合伙) 11308 | 代理人： | 王红霞 |
| 地址： | 610225 四川省成都*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明属于计算机词语表示技术领域，公开了一种深度动态上下文词语表示的模型及方法，所述深度动态上下文词语表示的模型为带层注意力机制的多层双向Transformer编码器堆叠成的遮蔽语言模型；是多层神经网络，网络每一层从不同的角度捕获输入语句中每个单词的上下文信息；然后通过一个层注意力机制给予网络每一层不同的权重；最终根据权重把不同的词语表示综合起来形成词语的上下文表示。使用该模型生成的词语表示在公开数据集上进行了逻辑推理(MultiNLI)、命名实体识别(CoNLL2003)和阅读理解任务(SQuAD)三项任务，比现有模型分别提升了2.0％、0.47％和2.96％。 | ||
| 搜索关键词： | 一种 深度 动态 上下文 词语 表示 方法 计算机 | ||
【主权项】：
1.一种深度动态上下文词语表示的模型，其特征在于，所述深度动态上下文词语表示的模型为带层注意力机制的多层双向Transformer编码器堆叠成的遮蔽语言模型；是多层神经网络，网络每一层从不同的角度捕获输入语句中每个单词的上下文信息；然后通过一个层注意力机制给予网络每一层不同的权重；最终根据权重把不同层次的词语表示综合起来形成词语的上下文表示；所述深度动态上下文词语表示的模型表达式：![]()
其中![]()
其中：各层Transformer赋予不同权重α1,α2,...αT，CoDyWor词语表示；hj和aj分别是第j层Transformer编码器的输出向量和对应的权重，β是一个缩放参数，α和β都由神经网络的随机梯度下降算法自动调整，α是由Softmax层保证满足概率分布。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都信息工程大学，未经成都信息工程大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910511211.4/，转载请声明来源钻瓜专利网。
