[发明专利]一种基于离散型变量的神经机器翻译解码加速方法有效
申请号: | 202010068156.9 | 申请日: | 2020-01-21 |
公开(公告)号: | CN111382576B | 公开(公告)日: | 2023-05-12 |
发明(设计)人: | 杜权 | 申请(专利权)人: | 沈阳雅译网络技术有限公司 |
主分类号: | G06F40/42 | 分类号: | G06F40/42;G06F40/58;G06N3/0455 |
代理公司: | 沈阳新科知识产权代理事务所(特殊普通合伙) 21117 | 代理人: | 李晓光 |
地址: | 110004 辽宁省沈阳市*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开一种基于离散型变量的神经机器翻译解码加速方法,步骤为:构建训练平行语料及基于注意力机制的神经机器翻译模型,以训练收敛后的模型参数,作为基线系统;在基线系统中通过量化方法得到每个张量的缩放因子(scale),并为整个模型初始化一个统一的缩放因子(base_scale);对神经机器翻译模型;在进行加法运算之前,对来自不同操作的各自缩放因子,求得一个公共缩放因子,保证参数的量级一致;对神经机器翻译模型的输出进行反量化,将模型输出结果送到归一化函数中,并得到最终的翻译结果。本发明利用定点数的运算复杂度低这种天然的优势,在快速推理的最新实现基础上,模型性能没有下降的前提下,提升实时相应速度。 | ||
搜索关键词: | 一种 基于 离散 变量 神经 机器翻译 解码 加速 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于沈阳雅译网络技术有限公司,未经沈阳雅译网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202010068156.9/,转载请声明来源钻瓜专利网。