[发明专利]面向神经机器翻译的位置编码方法及计算机存储介质有效
| 申请号： | 201910693637.6 | 申请日： | 2019-07-30 |
| 公开（公告）号： | CN110399619B | 公开（公告）日： | 2023-04-28 |
| 发明（设计）人： | 徐小龙;柳林青;孙雁飞 | 申请（专利权）人： | 南京邮电大学 |
| 主分类号： | G06F40/58 | 分类号： | G06F40/58;G06F40/42;G06N3/044;G06N3/0455;G06N3/0464;G06N3/048;G06N3/084 |
| 代理公司： | 南京苏高专利商标事务所(普通合伙) 32204 | 代理人： | 柏尚春 |
| 地址： | 210046 江*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种面向神经机器翻译的位置编码方法和计算机存储介质，方法包括以下步骤：1)将训练语料中的非重复词汇构成词典形成词汇空间矩阵，计算位置缩放系数向量矩阵和位置偏移量向量矩阵；2)生成词汇嵌入向量；3)从训练语料中抽取源语句向量矩阵，将其中包含的词汇嵌入向量与位置缩放系数向量矩阵逐元素相乘，再与位置偏移量向量矩阵逐元素相加；4)将结果输入到深度学习模型中进行正向传播，并计算得出模型损失；5)将模型损失通过反向传播更新参数；6)重复步骤2)至步骤5)直至所述深度学习模型收敛。本发明可以在不增加额外的模型训练时间的前提下，使目前主流的机器翻译模型实现更高的翻译精度。 | ||
| 搜索关键词： | 面向 神经 机器翻译 位置 编码 方法 计算机 存储 介质 | ||
【主权项】：
1.一种面向神经机器翻译的位置编码方法，其特征在于，包括以下步骤：(1)将训练语料中的非重复词汇构成词典，并对其初始化，形成词汇空间矩阵，随机初始化位置缩放系数和位置偏移量，形成位置缩放系数向量矩阵和位置偏移量向量矩阵；(2)将训练语料中源语句中的单词词汇通过one‑hot方法映射到所述词汇空间矩阵的对应向量上，生成词汇嵌入向量；(3)从训练语料中抽取源语句向量矩阵，将其中包含的词汇嵌入向量与位置缩放系数向量矩阵逐元素相乘，再与位置偏移量向量矩阵逐元素相加；(4)将步骤(3)中的结果输入到深度学习模型中进行正向传播，并将结果与源语句所对应的目标翻译语句进行softmax计算得出模型损失；(5)将模型损失通过反向传播更新模型参数、缩放系数向量组、位置偏移量向量组和词汇空间矩阵；(6)重复步骤(2)至步骤(5)直至所述深度学习模型收敛。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京邮电大学，未经南京邮电大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910693637.6/，转载请声明来源钻瓜专利网。
