[发明专利]训练计算机实施的模型的方法和设备

权利要求书

1.一种训练计算机实施的模型的方法，包括：

获得第一训练数据集；

基于第一训练数据集对计算机实施的模型进行预训练，获得预训练模型；

获得第二训练数据集；

基于与预训练模型的滤波器对应的二值掩码的掩码权重的分布和在计算机实施的模型中设置的与学习率相关的参数中的至少一者来设置掩码权重的搜索范围；

识别掩码权重之中的位于搜索范围中的目标掩码权重；

使用第二训练数据集对预训练模型进行再训练，并基于二值掩码和预训练模型来更新目标掩码权重；和

基于更新的目标掩码权重和预设的参考值来更新二值掩码的一部分。

2.根据权利要求1所述的方法，其中，基于二值掩码和预训练模型来更新目标掩码权重的步骤包括：

通过基于二值掩码和预训练模型的滤波器确定所述再训练的目标掩码权重的梯度来更新目标掩码权重。

3.根据权利要求2所述的方法，还包括：

将再训练、更新目标掩码权重和更新二值掩码的一部分的步骤重复预定的次数；

基于通过所述重复而获得的另一与学习率相关的参数来重设搜索范围；

识别掩码权重之中的位于重设的搜索范围中的另外的目标掩码权重；和

再次执行再训练、更新目标掩码权重和更新二值掩码的一部分的步骤。

4.根据权利要求1所述的方法，其中，更新目标掩码权重的步骤包括：

通过将更新的目标掩码权重应用于掩码权重来更新掩码权重。

5.根据权利要求1所述的方法，其中，通过掩码权重与参考值之间的比较来针对掩码权重中的每个确定二值掩码。

6.根据权利要求1所述的方法，其中，二值掩码包括：

二进制值，对应于包括在预训练模型的滤波器中的元素值，

其中，二进制值中的每个为第一值和第二值之一，第一值用于激活预训练模型的滤波器中的对应元素，第二值用于对预训练模型的滤波器中的对应元素进行去激活。

7.根据权利要求1所述的方法，其中，针对掩码权重之中的不在搜索范围中的掩码权重，二值掩码被设置为用于激活预训练模型的滤波器中的对应元素的值。

8.根据权利要求1所述的方法，其中，更新二值掩码的一部分的步骤包括：

基于更新的目标掩码权重和参考值来更新包括在二值掩码中的多个元素之中的与目标掩码权重对应的二值掩码的元素值。

9.根据权利要求1至权利要求8中任意一项所述的方法，其中，识别目标掩码权重的步骤还包括：

生成与掩码权重中的目标掩码权重的位置相关联的目标向量，

其中，更新目标掩码权重的步骤还包括：

基于生成的目标向量，通过将更新的目标掩码权重应用于掩码权重来更新掩码权重。

10.根据权利要求1至权利要求8中任意一项所述的方法，其中，识别目标掩码权重的步骤还包括：

生成与掩码权重中的目标掩码权重的位置相关联的目标向量，

其中，更新二值掩码的一部分的步骤还包括：

根据生成的目标向量，基于将目标掩码权重与参考值进行比较的结果来更新二值掩码中的与目标掩码权重对应的元素。

11.根据权利要求1至权利要求8中任意一项所述的方法，其中，设置搜索范围的步骤包括以下中的至少一个步骤：

基于根据掩码权重的分布的掩码权重的平均值来设置搜索范围；和

基于被配置为确定学习率衰减的水平的与学习率相关的参数来设置搜索范围。

12.根据权利要求11所述的方法，其中，基于根据掩码权重的分布的掩码权重的平均值来设置搜索范围的步骤还包括：

基于根据掩码权重的分布的掩码权重的方差来设置搜索范围。