[发明专利]一种基于深度学习的机器翻译设计方法

说明书

一种基于深度学习的机器翻译设计方法，该方法包括数据预处理，数据预训练以及数据微调；首先对输入语料数据进行预处理，并使用多种语言的语料数据进行数据预训练，在预训练的基础上，使用源语言与目标语言的语料对数据进行模型微调。本发明打破了语言和语种的限制，对语料数据的依赖较小，使用较少的语料数据就可以得到较好的翻译结果，可显著提高多语言机器翻译的效果，尤其是大大提高小语种的翻译效果。

技术领域

本发明涉及计算机自然语言处理领域，更具体地说，涉及一种基于深度学习的机器翻译设计方法。

背景技术

人工智能翻译补充了人工翻译的短缺，提升了翻译的效率，且对个人用户操作便捷，在中低水平的翻译任务上有很大的主导性和优势性。但在实际应用中，人工智能翻译需要较长时间进行训练，效果较大依赖于语料数据的数量与质量，在缺乏高质量语料数据的情况下容易出现无法令人满意的翻译结果。

目前常用的多语言机器翻译模型是2020年提出的mBART模型，该模型在训练数据集较大的情况下具有较好的效果，但对于数据集较少的小语种，翻译效果较差。如使用大小为4.5M的英语-德语数据集，其BLEU评价指标为30.5，而在小语种哈萨克语方面，使用大小为128k的英语-哈萨克语数据集，其BLEU评价指标仅为2.5，翻译效果较差。

发明内容

鉴于现有技术存在较大依赖于语料数据的数量与质量，特别是对于数据集较少的小语种，翻译效果较差的问题，本发明提供了一种基于深度学习的机器翻译设计方法，本方法对输入语料数据进行预处理，并使用多种语言的语料数据进行预训练，在预训练的基础上，使用源语言与目标语言的语料对数据进行模型微调，本发明对语料数据的依赖较小，在预训练基础上进行微小调整即可得到较好的翻译效果，可显著提高多语言机器翻译的效果，尤其是大大提高小语种的翻译效果。

本发明采用的技术方案是：一种基于深度学习的机器翻译设计方法，利用Django服务载体作为实现平台，该方法包括数据预处理，数据预训练以及数据微调；

步骤1，所述的数据预处理，是根据不同语言选择不同分词器对输入语料数据进行分词，并对分词后语料数据使用bpe分词方法将语料拆分为词元，对输入语料添加语言标记符，用于在混合语料中区分多种语言，使用RAS随机替换，将部分单词替换为其他语言的同义词；

步骤2，所述的数据预训练，是对经过数据预处理的多种语言的语料数据进行预训练，将语料数据置入Transformer网络结构，通过编码-解码的方式进行训练，获得预训练模型；

步骤3，所述的数据微调，是对预训练模型的效果进行微调，使用经过数据预处理的源语言与目标语言数据进行训练，得到微调模型，模型承担指定语言对、指定领域的翻译任务；

通过以上的步骤，实现深度学习模型的构建及对不同语言对的翻译模型的快速迭代。

步骤2中所述的Transformer网络结构为十二个Transformer_Big结构，由十二个Block堆叠而成的编码器和解码器构成。

步骤2中所述的Transformer网络结构引入Self-Attention机制建立Block之间的联系，采用一次性输入序列进行计算的设计模式，批量对多个输入进行计算。

步骤3中所述的模型效果进行微调，是输入源语言与目标语言数据，在预训练基础上对模型效果进行微调，即首先使用大量的算力以及大量的多语种平行语料预先训练一个基础模型，然后以基础模型为出发点，通过少量单语，或者双语的语料对其进行微调，从而演化出适应于特定语言对的机器翻译模型。