[发明专利]一种应用于小型机器翻译设备的模型压缩方法

权利要求书

1.一种应用于小型机器翻译设备的模型压缩方法，其特征在于包括以下步骤：

1)在大型计算设备中，为翻译模型中除嵌入层以外的参数矩阵W创建一个与W具有同样维度的且值为0或1的矩阵c，矩阵c表示模型中参数二值化后的结果；

2)使用二值化后的参数进行模型训练；

3)固定模型中的参数，将模型中的参数量化为二值结果存入矩阵c中，通过损失函数对模型参数的梯度更新矩阵c；

4)训练模型直到获得最优的矩阵c时停止训练，得完成训练的模型，将矩阵c与其对应的参数矩阵W做点乘，得到新的参数矩阵W′；此时矩阵c表示是否对其对应的模型连接进行剪枝操作；

5)在小型机器翻译设备中使用步骤4)所得到的模型；

矩阵c的初始化通过模型权重得到：

c＝Bern(S(W))

其中Bern(·)为概率为p的伯努利采样，S(·)为Sigmoid函数，W表示模型中的参数；矩阵c与其对应的模型参数W的维度相同；

步骤2)使用优化后更适合二值信息传递的函数代替原本网络中的函数进行前馈与反馈训练，具体为：

使用二值化后的参数进行模型的训练，在使用模型的参数进行训练前，将模型的参数矩阵使用量化函数量化为二值的矩阵，量化函数的公式为：

W表示模型中原始的未量化的参数，round()函数会将输入的数字四舍五入为一个最接近的整数；

经过量化函数quantize()之后，模型中的参数W被转化为一个非0即1的数，在接下来的训练中使用量化后的参数进行模型前馈计算；

每次进行前馈计算之前，使用量化函数quantize()对矩阵c进行量化；

步骤3)通过损失函数对模型参数的梯度更新矩阵c，公式为：

使用此公式，计算损失函数对矩阵c的梯度，并使用该梯度更新矩阵c；

固定模型中的参数，将模型中的参数量化为二值结果存入矩阵c中，通过损失函数对模型参数的梯度更新矩阵c。