[发明专利]一种应用于小型机器翻译设备的模型压缩方法

说明书

本发明公开一种将机器翻译模型压缩至小型设备中的压缩方法，在大型计算设备中，为翻译模型中除嵌入层以外的参数矩阵W创建一个与W具有同样维度的且值为0或1的矩阵C；使用二值化后的参数进行模型训练；将模型中的参数量化为二值结果存入矩阵C中，对模型参数的梯度更新矩阵C；训练模型直到获得最优的矩阵C时停止训练，将矩阵C与其对应的参数矩阵W做点乘，得到新的参数矩阵W′；在小型机器翻译设备中使用剪枝得到的小模型将大幅提升小型机器翻译设备的翻译质量，并且可以拥有与原始模型相同的翻译速度。本发明压缩方法在机器翻译上使用二值网络学习剪枝结构，在学习矩阵C的同时固定模型参数，这使得可以在一个未训练的模型上找到一个较为有效的剪枝网络。

技术领域

本发明涉及一种神经机器翻译模型压缩技术，具体为一种应用于小型机器翻译设备的模型压缩方法。

背景技术

机器翻译(Machine Translation或MT)又称为自动翻译，是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。如今市场中被应用的翻译软件一般为在线翻译，具有翻译质量高的特点，但是这类翻译软件需要占用很大的内存空间。如果不能在保证翻译质量的前提下，压缩模型大小，那么例如手机、翻译机等等小型设备将无法在不接入互联网时为用户提供服务。因此压缩对现有的翻译模型进行压缩至关重要。

现今，使用神经网络进行机器翻译已经变得越来越普遍，在机器学习以及深度学习等技术的发展下，神经网络变得越来越复杂，其中的参数越来越多，同时使用其进行机器翻译的效果也越来越好。更多的参数，更深的网络就会带来更好的性能，这句话似乎已经成为研究者们的共识。但是随着参数越来越多，训练代价昂贵的问题就暴露出来了。虽然相比于大而稠密的网络，小而稀疏的网络在翻译的精度与质量上都不及大网络，但是小网络的训练时间与训练时所需要的计算资源都是远小于大网络的。所以随着网络变得越来越大的同时，也有研究者在思考如何将大网络变小或者从零训练一个与大网络有相似精度的小网络。这类希望降低模型参数量的方法被统称为模型压缩，常用的模型压缩方法有剪枝，量化，知识蒸馏以及因式分解。

剪枝作为一种优秀的模型压缩策略受到研究者的广泛青睐，它通过将模型中部分参数的值置为0来达到降低模型参数，加快训练速度的目的。在实现时，一般的方法是对模型中要剪枝的参数点成一个数值上非0即1的且与参数矩阵同样大小的剪枝矩阵，0表示剪枝模型中对应的连接，1表示保留模型中对应的连接。常用的剪枝方法可以按照剪枝矩阵是否有结构特点分为结构化剪枝和非结构化剪枝，也可以按照进行剪枝的阶段分为训练前剪枝、训练时剪枝和训练后剪枝。

在现有的剪枝技术中，对于判断哪些参数更加重要一般使用下述方式。第一种通过人为制定的、显示的评价标准来判断参数的重要性，例如在某些方法中，模型参数中较大的部分是更重要的，因为大值在做乘法时带来的变化也更大一些。第二种通过修改损失函数，在损失函数中加入正则化项来抑制模型中参数的大小。上述方法在实践上一般基于在剪枝、训练和微调之间循环迭代的训练策略，这导致虽然剪枝技术降低了模型的参数量，但是迭代训练又增大了模型的训练代价。第三种是在固定模型参数的同时，直接使用损失函数对剪枝矩阵的梯度，通过一次前馈与反馈学习剪枝结构，或是基于损失函数对剪枝矩阵的梯度生成剪枝结构。这种方法避免了为了获得剪枝结构而不断迭代的训练策略，但是却没有考虑模型当前的参数状态，直接使用剪枝矩阵的梯度对其更新并没有避免使用人为制定的规则，在这类方法的剪枝过程中依然保留了具有较大梯度的参数。

由于小型设备的便携性以及实时性，越来越多的用户选择使用小型翻译设备进行翻译。现有的小型机器翻译设备虽然可以完成翻译的功能，但是由于设备的计算资源和存储资源均受限，因此无法像在线翻译等翻译平台一样给用户提供更高质量的翻译结果和更多的翻译候选，影响了用户的体验。

发明内容

针对现有机器翻译中所使用的翻译模型中，由于参数量大，导致训练消耗大，难以部署等问题。本发明为将要解决的技术问题是提供一种应用于小型机器翻译设备的模型压缩方法，能够在随机初始化的模型上，寻找一个有效的剪枝结构，可以大幅度地压缩模型的大小。