[发明专利]翻译模型的训练方法、装置、电子设备、及存储介质在审
申请号: | 202010026456.0 | 申请日: | 2020-01-10 |
公开(公告)号: | CN111259676A | 公开(公告)日: | 2020-06-09 |
发明(设计)人: | 俞春龙 | 申请(专利权)人: | 苏州交驰人工智能研究院有限公司 |
主分类号: | G06F40/58 | 分类号: | G06F40/58;G06F40/289;G06K9/62;G06N3/08 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 215000 江苏省苏州市中国(江苏)自由贸*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 翻译 模型 训练 方法 装置 电子设备 存储 介质 | ||
1.一种翻译模型的训练方法,其特征在于,包括:
基于训练用的第一平行语对集合的正向语言对训练第一初始翻译模型得到正向翻译模型,以及基于所述第一平行语对集合的反向语言对训练第二初始翻译模型得到反向翻译模型,其中,所述平行语对包括源语言的源语句和目标语言的目标语句;
将测试用的第二平行语对集合进行分类划分为多个测试子集,分别采用所述测试子集测试所述正向翻译模型和所述反向翻译模型,根据测试结果确定翻译效果指标最差的至少一个测试子集,获取所述至少一个测试子集对应的至少一个分类作为低质类别集;
将所述第一平行语对集合拆分为第三平行语对子集和第四平行语对子集,其中,所述第三平行语对子集中的平行语对属于所述低质类别集,所述第四平行语对子集中的平行语对不属于所述低质类别集;
将所述第三平行语对子集中的平行语对的源语句采用所述正向翻译模型进行翻译,以及将所述第三平行语对子集中的平行语对的目标语句采用所述反向翻译模型进行翻译,根据翻译结果生成平行语对集合,根据所生成的平行语对集合和所述第四平行语对子集,对所述正向翻译模型和所述反向翻译模型进行训练。
2.根据权利要求1所述的方法,其特征在于:
基于训练用的第一平行语对集合的正向语言对训练第一初始翻译模型得到正向翻译模型包括:
利用机器学习的方法,将基于训练用的第一平行语对集合中任一平行语对的源语句作为第一初始翻译模型的输入,将该平行语对的目标语句作为所述第一初始翻译模型的期望输出,训练得到正向翻译模型;
基于所述第一平行语对集合的反向语言对训练第二初始翻译模型得到反向翻译模型包括:
利用机器学习的方法,将所述第一平行语对集合中任一平行语对的目标语句作为第二初始翻译模型的输入,将该平行语对的源语句作为所述第二初始翻译模型的期望输出,训练得到反向翻译模型。
3.根据权利要求1所述的方法,其特征在于,将测试用的第二平行语对集合进行分类划分为多个测试子集包括:
通过用于识别平行语对所属领域的领域分类模型,将测试用的第二平行语对集合进行领域分类划分为多个测试子集。
4.根据权利要求3所述的方法,其特征在于,将所述第一平行语对集合拆分为第三平行语对子集和第四平行语对子集包括:
通过所述领域分类模型将所述第一平行语对集合拆分为第三平行语对子集和第四平行语对子集。
5.根据权利要求1所述的方法,其特征在于,将所述第三平行语对子集中的平行语对的源语句采用所述正向翻译模型进行翻译,以及将所述第三平行语对子集中的平行语对的目标语句采用所述反向翻译模型进行翻译,根据翻译结果生成平行语对集合,根据所生成的平行语对集合和所述第四平行语对子集,对所述正向翻译模型和所述反向翻译模型进行训练包括:
将所述第三平行语对子集中的平行语对的源语句采用所述正向翻译模型进行翻译,根据翻译结果得到第五平行语对集合,将所述第五平行语对集合和所述第四平行语对子集混合后,基于混合结果对所述反向翻译模型进行训练;
以及,将所述第三平行语对子集中的平行语对的目标语句采用所述反向翻译模型进行翻译,根据翻译结果得到第六平行语对集合,将所述第六平行语对集合和所述第四平行语对子集混合后,基于混合结果对所述正向翻译模型进行训练。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在得到第五平行语对集合之后,对所述第五平行语对集合中的平行语对进行数据清洗处理、过滤处理、符号标准化处理、和/或分词处理;和/或
在得到第六平行语对集合之后,对所述六平行语对集合中的平行语对进行数据清洗处理、过滤处理、符号标准化处理、和/或分词处理。
7.根据权利要求1所述的方法,其特征在于,在根据所生成的平行语对集合和所述第四平行语对子集,对所述正向翻译模型和所述反向翻译模型进行训练之后,返回所述分别采用所述测试子集测试所述正向翻译模型和所述反向翻译模型的步骤直到翻译效果指标满足预定条件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州交驰人工智能研究院有限公司,未经苏州交驰人工智能研究院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010026456.0/1.html,转载请声明来源钻瓜专利网。