[发明专利]一种机器翻译领域自适应方法、系统、介质、计算机设备有效
申请号: | 202110375078.1 | 申请日: | 2021-04-08 |
公开(公告)号: | CN112966530B | 公开(公告)日: | 2022-07-22 |
发明(设计)人: | 贝超;程国艮 | 申请(专利权)人: | 中译语通科技股份有限公司 |
主分类号: | G06F40/58 | 分类号: | G06F40/58;G06F40/49;G06N3/04 |
代理公司: | 北京万贝专利代理事务所(特殊普通合伙) 11520 | 代理人: | 马红 |
地址: | 100131 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 机器翻译 领域 自适应 方法 系统 介质 计算机 设备 | ||
本发明属于机器翻译技术领域,公开了一种机器翻译领域自适应方法、系统、介质、计算机设备,包括:通过半监督增广语料,基于不同的领域语料的数量和质量进行领域模型的适应性训练,并利用训练好的领域模型进行机器翻译。本发明针对领域机器翻译的实际应用中的主要问题,提出了一套较为完整的解决方案,可以有效利用用户提供的领域语料,提供一个较好的领域机器翻译模型。本发明针对领域语料较少的情况,使用半监督的方法构建领域语料;根据用户的需求,选择不同的训练方式,通过上采样的方式,得到较好的领域神经网络机器翻译模型;避免了使用增量训练的方式使得领域模型出现过拟合,无法覆盖大部分用户的使用场景,又能快速构建领域模型。
技术领域
本发明属于机器翻译技术领域,尤其涉及一种机器翻译领域自适应方法、系统、介质、计算机设备。
背景技术
目前,机器翻译是利用计算机算法自动地将一种源语言句子翻译成为另一种目标语言句子的过程。机器翻译是人工智能的一个研究方向,具有十分重要的科研价值和实用价值。伴随着全球化进程的不断深化和互联网的迅速发展,机器翻译技术在国内外政治、经济、社会、文化交流等方面发挥着越来越重要的作用。
随着神经网络机器翻译的可用性大大提高,用户对机器翻译的需求随之提升。一般用户没有专业的需求,也无需十分高的准确率,使用通用领域的机器翻译即可满足需求。但一般的通用领域机器翻译无法满足专业领域用户的需求,而专业领域用户对于机器翻译的需求却是较大的,对于翻译的准确率以及专业性的要求较高。
目前领域的神经网络机器翻译系统在学术界已有比较多的讨论,但是对于工业界级别的领域神经网络机器翻译应用来说,还有很多有待解决的问题。学术界的论文可以针对测试集进行相应的优化,并且最重要的一点,领域测试集也仅仅是几千句,并不能代表用户所有场景中所需翻译的句子。因此,在实际应用中,领域机器翻译模型往往会让用户产生不好用的感受。
从零开始训练一个神经网络模型需要花费较多的时间在语料处理和模型训练上。但实际应用中,用户往往会不断产生新的领域语料,却不可能每次都从零开始训练一个模型,这对快速进行领域自适应提出了要求。
此外,用户的语料也较少,往往很难覆盖所有的使用场景,质量也很难有所保证。对于如何使用用户提供的语料,并进行个性化定制,是一个难题。
通过上述分析,现有技术存在的问题及缺陷为:现有的机器翻译系统或方法无法应用于专业领域,同时无法进行领域自适应;且现有的机器翻译方法或系统翻译不精准,用户感受不佳。解决以上问题及缺陷的难度为:由于可供使用的领域语料较少甚至没有,而神经网络机器翻译模型需要大量的数据驱动,少量的数据无法训练得到一个可用的领域机器翻译模型,甚至进行训练。
解决以上问题及缺陷的意义为:通过本发明,根据用户的需求以及不同的情况,可在合理情况下训练一个可用的领域机器翻译模型,解决了领域语料缺乏的情况下无法训练领域神经网络机器翻译模型的问题。
发明内容
针对现有技术存在的问题,本发明提供了一种机器翻译领域自适应方法、系统、介质、计算机设备。
本发明是这样实现的,一种机器翻译领域自适应方法,所述机器翻译领域自适应方法包括:通过半监督增广语料,基于不同的领域语料的数量和质量进行领域模型的适应性训练,并利用训练好的领域模型进行机器翻译。
进一步,所述机器翻译领域自适应方法包括以下步骤:
步骤一,使用半监督方法生产伪平行领域语料,对语料进行增广;
步骤二,构建领域模型,并判断时间是否充裕,若时间充裕,则对构建的领域模型进行全量训练;若时间不充裕,则对构建的领域模型进行增量训练;
步骤三,利用训练好的领域模型进行领域自适应的机器翻译。
进一步,所述使用半监督方法生产伪平行领域语料包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中译语通科技股份有限公司,未经中译语通科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110375078.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:控制装置
- 下一篇:互斥式防松动螺栓、螺母