[发明专利]一种应用于小型机器翻译设备的模型压缩方法有效
| 申请号： | 202011212785.0 | 申请日： | 2020-11-03 |
| 公开（公告）号： | CN112257466B | 公开（公告）日： | 2023-08-18 |
| 发明（设计）人： | 徐萍;杜权 | 申请（专利权）人： | 沈阳雅译网络技术有限公司 |
| 主分类号： | G06F40/58 | 分类号： | G06F40/58;G06F17/16 |
| 代理公司： | 沈阳新科知识产权代理事务所(特殊普通合伙) 21117 | 代理人： | 李晓光 |
| 地址： | 110004 辽宁省沈阳市*** | 国省代码： | 辽宁;21 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种将机器翻译模型压缩至小型设备中的压缩方法，在大型计算设备中，为翻译模型中除嵌入层以外的参数矩阵W创建一个与W具有同样维度的且值为0或1的矩阵C；使用二值化后的参数进行模型训练；将模型中的参数量化为二值结果存入矩阵C中，对模型参数的梯度更新矩阵C；训练模型直到获得最优的矩阵C时停止训练，将矩阵C与其对应的参数矩阵W做点乘，得到新的参数矩阵W′；在小型机器翻译设备中使用剪枝得到的小模型将大幅提升小型机器翻译设备的翻译质量，并且可以拥有与原始模型相同的翻译速度。本发明压缩方法在机器翻译上使用二值网络学习剪枝结构，在学习矩阵C的同时固定模型参数，这使得可以在一个未训练的模型上找到一个较为有效的剪枝网络。 | ||
| 搜索关键词： | 一种 应用于 小型 机器翻译 设备 模型 压缩 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于沈阳雅译网络技术有限公司，未经沈阳雅译网络技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202011212785.0/，转载请声明来源钻瓜专利网。
- 上一篇：一种云套件的框架和界面设计方案
- 下一篇：一种建筑材料存储装置
