[发明专利]一种翻译模型压缩方法、装置、设备及存储介质

说明书

本申请提供了一种翻译模型的压缩方法、装置、设备及存储介质，其中，方法包括：获取目标翻译模型，目标翻译模型包括多个结构相同的层，每层中包括多个结构相同的节点；利用训练文本集中的训练文本训练目标翻译模型，并在训练目标翻译模型的过程中，确定目标翻译模型中不参与训练文本运算的层和节点，将不参与训练文本运算的层和节点屏蔽掉；将训练结束后得到的模型，确定为目标翻译模型对应的压缩后翻译模型。本申请提供的翻译模型压缩方法可同时在深度和广度上对目标翻译模型进行压缩，从而能够获得较高的压缩比，并且，本申请将目标翻译模型的训练与压缩相结合，能够降低模型压缩带来的效果损失，从而使压缩后的翻译模型具有较好的性能。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种翻译模型压缩方法、装置、设备及存储介质。

背景技术

神经网络模型因为普适性好、容易训练等优点已被广泛用于人工智能领域。随着人工智能领域对机器智能化需求的提高，神经网络模型的结构设计得愈加复杂，所需的计算量也随之增加，因此，需要较高的计算能力才能实现一次推理运算。

翻译模型是近些年应用较广的模型，其参数量通常在亿级往上，因此，其对于设备的计算能力要求极高，若设备的计算能力不足，将导致翻译速度大幅下降。

目前，大量终端设备(如手机、PAD、车载终端等)由于功耗和体积的限制，只能提供较低的计算能力，翻译模型在这些设备上基本无法使用。为了使翻译模型能够在具有较低计算能力的设备上使用，往往需要对翻译模型进压缩，而如何对翻译模型进行压缩是目前亟需解决的问题。

发明内容

有鉴于此，本申请提供了一种翻译模型压缩方法、装置、设备及存储介质，用于对需要较高计算能力的翻译模型进行压缩，以使其能够在具有较低计算能力的设备上使用，其技术方案如下：

一种翻译模型的压缩方法，包括：

获取目标翻译模型，所述目标翻译模型包括多个结构相同的层，每层中包括多个结构相同的节点；

利用训练文本集中的训练文本训练所述目标翻译模型，并在训练所述目标翻译模型的过程中，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，将不参与所述训练文本运算的层和节点屏蔽掉；

将训练结束后得到的模型，确定为所述目标翻译模型对应的压缩后翻译模型。

可选的，所述利用训练文本集中的训练文本训练所述目标翻译模型，并在训练所述目标翻译模型的过程中，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，将不参与所述训练文本运算的层和节点屏蔽掉，包括：

将所述训练文本集中的训练文本输入所述目标翻译模型进行运算；

在所述目标翻译模型对所述训练文本进行运算的过程中，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，并将不参与所述训练文本运算的层和节点屏蔽掉，获得屏蔽后翻译模型；

根据所述屏蔽后翻译模型对所述训练文本输出的翻译结果以及所述训练文本标注的翻译结果，更新所述目标翻译模型的参数，其中，更新的参数为在本次训练中未被屏蔽的层和节点的参数。

可选的，所述确定所述目标翻译模型中不参与所述训练文本运算的层和节点，包括：

利用压缩信息确定模型，确定所述目标翻译模型中不参与所述训练文本运算的层和节点；

所述翻译模型的压缩方法还包括：

根据所述屏蔽后翻译模型的性能和空间复杂度，对所述压缩信息确定模型的参数进行更新。

可选的，所述利用压缩信息确定模型，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，包括：