[发明专利]一种结合Bert语言模型和细粒度压缩的汉蒙翻译方法在审
| 申请号： | 202011393610.4 | 申请日： | 2020-12-03 |
| 公开（公告）号： | CN112395891A | 公开（公告）日： | 2021-02-23 |
| 发明（设计）人： | 苏依拉;张妍彤;王涵;程永坤;仁庆道尔吉;石宝 | 申请（专利权）人： | 内蒙古工业大学 |
| 主分类号： | G06F40/58 | 分类号： | G06F40/58;G06F40/126;G06F40/289;G06F40/30 |
| 代理公司： | 西安智大知识产权代理事务所 61215 | 代理人： | 段俊涛 |
| 地址： | 010080 内蒙古自治区呼*** | 国省代码： | 内蒙古;15 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明为解决目前汉蒙机器翻译译文质量低、翻译效果不理想问题，提出了一种结合Bert语言模型和细粒度压缩的汉蒙翻译方法，首先，本发明从蒙古文的语言特点出发，将蒙古文数据进行词根、词缀的切分，将中文进行字粒度切分。其次，本发明采用当前比较先进的谷歌提供的已经预训练好的开源Bert语言模型，将Bert语言模型的输出直接送入每一层编码器中的Bert注意力模块中，这样可以有效把中文的语义信息融入编码器。最后，本发明结合细粒度压缩的方法，通过信息熵对信息表示进行细粒度压缩，从而达到模型加速推断的目的。本发明在进行蒙汉翻译的过程中，通过使用Bert语言模型引入更多的语义信息，使翻译准确度更高；通过使用细粒度压缩的方法使得模型能够有更快的训练速度。 | ||
| 搜索关键词： | 一种 结合 bert 语言 模型 细粒度 压缩 翻译 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于内蒙古工业大学，未经内蒙古工业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202011393610.4/，转载请声明来源钻瓜专利网。
