[发明专利]一种面向GPU设备的神经机器翻译系统解码加速方法

说明书

本发明涉及一种面向GPU设备的神经机器翻译系统解码加速方法，步骤为：处理训练数据并训练得到神经机器翻译模型；将神经机器翻译模型的参数转换为16位浮点数进行存储和表示；在限制最大单词数量和句子数量的情况下构造翻译模型的输入；在解码的搜索过程中根据候选句子的得分和预设的阈值对候选句子进行裁剪；在解码过程中动态删除已经预测出终止符的句子直到所有的句子都解完。本发明在不改变神经机器翻译模型结构的前提下，降低了翻译模型的存储大小和内存占用，减少了解码过程的冗余计算，完全不影响机器翻译的精度，有效地提升了基于标准束搜索的神经机器翻译解码的速度。

技术领域

本发明涉及一种神经机器翻译解码加速方法，具体为面向GPU设备的神经机器翻译系统解码加速方法。

背景技术

深度学习和神经网络的发展极大地促进了机器翻译的发展，目前神经机器翻译已经成为了机器翻译领域主流的方法。所谓的解码，就是指使用训练好的模型对源文进行翻译的过程。虽然神经机器翻译系统在许多翻译任务取得了令人瞩目的成绩，然而系统的计算代价也愈发高昂，大型翻译系统的解码速度无法满足在线服务和大规模文档翻译的需求。

针对上述问题，改进神经机器翻译方法，提升翻译系统的运行速度显得特别重要。一般而言，想要提升神经机器翻译系统的解码速度可以从两大方面出发，包括使用轻量的神经机器翻译模型和改进神经机器翻译解码算法。

轻量级神经机器翻译模型的翻译效果远逊于大规模的神经网络模型，使用更深的编码器和解码器、更大的特征维度可以明显提高模型的翻译效果，但也带来了更大的计算开销。而改进神经机器翻译解码算法可以从多方面入手，如使用更低的精度进行计算、使用动态控制策略减少解码过程的冗余计算等。

目前神经机器翻译系统的加速方法主要包括知识精炼方法、轻量级解码器结构、低精度计算以及改进解码的搜索算法等，前两种方法都需要重新训练神经机器翻译模型并进行大量实验挑选最佳模型参数，计算成本高昂，且应用范围局限于特定的模型结构，如基于循环神经网络的神经机器翻译系统、基于自注意力机制的神经机器翻译结构等，而无法应用于深层神经机器翻译系统或更加轻量级的网络结构中。

现有针对GPU设备的神经机器翻译解码加速方法没有根据设备特点设计神经网络结构、解码策略和终止策略，即忽略了GPU设备并行程度高的特点。现有的神经网络结构层数很深、每层均匀的参数量的特点不利于GPU设备多线程处理的特点，而现有的机器翻译解码方法也没有根据多线程特点设计专门的输入、处理和输出策略。

发明内容

针对现有技术中针对GPU设备的神经机器翻译系统解码加速方法需要对神经机器翻译模型结构进行调整并反复训练模型导致计算成本高昂、应用具有局限性等不足，本发明提供一种可以解决成本高和局限性问题的面向GPU设备的神经机器翻译系统解码加速方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明提供一种面向GPU设备的神经机器翻译系统解码加速方法，包括以下步骤：

1)在GPU设备上处理训练数据并进行建模训练，得到神经机器翻译模型，其训练过程与标准的神经机器翻译模型训练方法一致；

2)将训练好的神经机器翻译模型参数转换为GPU设备专用的16位浮点数进行存储和表示；

3)按照句子长度对待翻译的句子进行排序，根据GPU设备支持的线程数、预设的最大单词数量和最大句子数量构造神经机器翻译系统的输入，组成多个批次；

4)在神经机器翻译系统的翻译解码过程中，按照预设的候选句子得分阈值裁剪掉得分低于阈值的句子并更新句子和分数列表，保证句子数量不超过GPU设备支持的线程数；

5)在翻译过程中，对于已经预测出终止符号的句子，将其保存至译文列表中，并从解码的句子列表中移除，直到所有的句子都完成翻译。