[发明专利]翻译模型训练方法和翻译方法及其装置

说明书

本发明实施例提供一种翻译模型训练方法和翻译方法及其装置。其中，模型训练方法包括：分别将平行双语句对中的源语言语句和加噪的源语言语句输入翻译模型，得到第一预测目标语言语句和第二预测目标语言语句，并分别获取翻译模型的第一预测概率分布、第二预测概率分布和/或各隐藏层输出的第一特征向量、第二特征向量；基于第一预测目标语言语句与平行双语句对中的目标语言语句、第二预测目标语言语句与加噪的源语言语句对应的目标语言语句、第一特征向量与第二特征向量和/或第一预测概率分布与第二预测概率分布，确定翻译模型的当前训练损失，调整翻译模型的参数。本发明实施例可以提升翻译模型的鲁棒性，并且训练方法简单，模型训练稳定。

技术领域

本发明涉及机器翻译技术领域，尤其涉及一种翻译模型训练方法和翻译方法及其装置。

背景技术

扫描翻译笔是一种集光学字符识别(Optical Character Recognition，简称OCR)技术、机器翻译技术和语音合成技术于一体的智能终端产品。其工作过程首先是通过OCR技术采集纸质文档的图像，对图像中的文字进行识别，获得源语言文本，然后通过机器翻译技术对源语言文本进行翻译，获得目标语言文本，最后通过语音合成技术将目标语言文本以语音的形式播放出来。为了保证翻译质量，扫描翻译笔在使用时需要遵循一定的规范，例如，在采集纸质文档的图像时，建议扫描翻译笔与桌面呈45度的夹角，扫描翻译笔笔尖的准星线需要与纸质文档的待翻译文本行对齐等。但是在实际使用过程中很难保证这些规范被严格遵循，从而导致在通过OCR技术获得的源语言文本中存在大量的噪声，由于机器翻译技术对噪声十分敏感，少量扰动都可能会造成翻译结果的巨大变化，从而降低机器翻译的质量。通过提升翻译模型的鲁棒性，可以改善机器翻译的质量。

现有的提升翻译模型鲁棒性的方法，主要是采用数据增强结合对抗训练的方法。然而，数据增强结合对抗训练的方法，需要额外增加鉴别器，并需要额外训练鉴别器，使得训练方法比较复杂，模型训练不稳定。

发明内容

本发明实施例提供一种翻译模型训练方法和翻译方法及其装置，用以解决现有技术中提升翻译模型鲁棒性的方法比较复杂，模型训练不稳定的缺陷。

本发明实施例提供一种翻译模型训练方法，包括：

将平行双语句对中的源语言语句输入翻译模型，得到所述翻译模型输出的第一预测目标语言语句，并获取所述翻译模型的第一预测概率分布和/或所述翻译模型各隐藏层输出的第一特征向量；

将加噪的源语言语句输入所述翻译模型，得到所述翻译模型输出的第二预测目标语言语句，并获取所述翻译模型的第二预测概率分布和/或所述翻译模型各隐藏层输出的第二特征向量；其中，所述加噪的源语言语句是基于对所述源语言语句进行数据增强得到；

基于所述第一预测目标语言语句与所述平行双语句对中的目标语言语句、所述第二预测目标语言语句与所述加噪的源语言语句对应的平行双语句对中的目标语言语句，以及所述第一特征向量与所述第二特征向量和/或所述第一预测概率分布与所述第二预测概率分布，确定所述翻译模型的当前训练损失；

基于所确定的当前训练损失，调整所述翻译模型的参数。

根据本发明一个实施例的翻译模型训练方法，所述基于所述第一预测目标语言语句与所述平行双语句对中的目标语言语句、所述第二预测目标语言语句与所述加噪的源语言语句对应的平行双语句对中的目标语言语句、以及所述第一特征向量与所述第二特征向量和/或所述第一预测概率分布与所述第二预测概率分布，确定所述翻译模型的当前训练损失，包括：

基于所述第一预测目标语言语句与所述平行双语句对中的目标语言语句、所述第二预测目标语言语句与所述加噪的源语言语句对应的平行双语句对中的目标语言语句，确定第一训练损失；

基于所述第一特征向量与所述第二特征向量，确定第二训练损失；和/或，基于所述第一预测概率分布与所述第二预测概率分布，确定第三训练损失；