[发明专利]一种翻译模型压缩方法、装置、设备及存储介质

权利要求书

1.一种翻译模型的压缩方法，其特征在于，包括：

获取目标翻译模型，所述目标翻译模型包括多个结构相同的层，每层中包括多个结构相同的节点；

利用训练文本集中的训练文本训练所述目标翻译模型，并在训练所述目标翻译模型的过程中，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，将不参与所述训练文本运算的层和节点屏蔽掉；

将训练结束后得到的模型，确定为所述目标翻译模型对应的压缩后翻译模型。

2.根据权利要求1所述的翻译模型的压缩方法，其特征在于，所述利用训练文本集中的训练文本训练所述目标翻译模型，并在训练所述目标翻译模型的过程中，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，将不参与所述训练文本运算的层和节点屏蔽掉，包括：

将所述训练文本集中的训练文本输入所述目标翻译模型进行运算；

在所述目标翻译模型对所述训练文本进行运算的过程中，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，并将不参与所述训练文本运算的层和节点屏蔽掉，获得屏蔽后翻译模型；

根据所述屏蔽后翻译模型对所述训练文本输出的翻译结果以及所述训练文本标注的翻译结果，更新所述目标翻译模型的参数，其中，更新的参数为在本次训练中未被屏蔽的层和节点的参数。

3.根据权利要求2所述的翻译模型的压缩方法，其特征在于，所述确定所述目标翻译模型中不参与所述训练文本运算的层和节点，包括：

利用压缩信息确定模型，确定所述目标翻译模型中不参与所述训练文本运算的层和节点；

所述翻译模型的压缩方法还包括：

根据所述屏蔽后翻译模型的性能和空间复杂度，对所述压缩信息确定模型的参数进行更新。

4.根据权利要求3所述的翻译模型的压缩方法，其特征在于，所述利用压缩信息确定模型，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，包括：

利用所述压缩信息确定模型，以及所述目标翻译模型每层的表征信息和每层所包含的子层中至少一个子层的表征信息，确定所述目标翻译模型中不参与所述训练文本运算的层和节点。

5.根据权利要求4所述的翻译模型的压缩方法，其特征在于，所述利用所述压缩信息确定模型，以及所述目标翻译模型每层的表征信息和每层所包含的子层中至少一个子层的表征信息，确定所述目标翻译模型中不参与所述训练文本运算的层和节点，包括：

利用所述压缩信息确定模型中的门限概率网络，以及所述目标翻译模型每层的表征信息，确定所述目标翻译模型每层被丢弃的概率；

利用所述压缩信息确定模型中的广度遮掩网络，以及所述目标翻译模型每层所包含的子层中至少一个子层的表征信息，确定所述目标翻译模型每层所包含的子层中至少一个子层所包含的每个节点被保留的概率；

根据所述目标翻译模型每层被丢弃的概率，以及，所述目标翻译模型每层所包含的子层中至少一个子层所包含的每个节点被保留的概率，确定所述目标翻译模型中不参与所述训练文本运算的层和节点。

6.根据权利要求4所述的翻译模型的压缩方法，其特征在于，确定所述目标翻译模型每层的表征信息，以及所述目标翻译模型每层所包含的子层中至少一个子层的表征信息，包括：

在将所述训练文本输入所述目标翻译模型后，根据所述目标翻译模型每层运算后输出的隐含状态，确定所述目标翻译模型每层的表征信息；

根据所述目标翻译模型每层所包含的子层中至少一个子层运算后输出的隐含状态，确定所述目标翻译模型每层所包含的子层中至少一个子层的表征信息。