[发明专利]模型训练及任务处理方法、装置、系统、设备及存储介质

权利要求书

1.一种模型训练方法，其特征在于，所述模型训练方法应用于分布式集群中的本地设备，所述分布式集群中还包括其他设备，所述模型训练方法包括：

获取所述其他设备上一轮训练得到的目标任务处理模型；

根据所述其他设备上一轮训练得到的目标任务处理模型和所述本地设备上一轮训练得到的目标任务处理模型确定所述本地设备本轮训练的初始任务处理模型；

确定所述初始任务处理模型的各个模型参数处的当前梯度，并确定所述本地设备本轮训练的掩码向量；

基于所述掩码向量从所述各个模型参数中确定出所述本地设备本轮训练需要更新的模型参数，得到目标参数；

根据所述初始任务处理模型的所述目标参数处的当前梯度更新所述目标参数，得到所述本地设备本轮训练的目标任务处理模型。

2.根据权利要求1所述的模型训练方法，其特征在于，所述确定所述本地设备本轮训练的掩码向量，包括：

从所述各个模型参数中确定出本轮公开参数和本轮屏蔽参数，所述本轮公开参数为所述本地设备本轮训练需要公开的模型参数，所述本轮屏蔽参数为所述本地设备本轮训练需要屏蔽的模型参数；

基于所述本轮公开参数和所述本轮屏蔽参数确定所述本地设备本轮训练的掩码向量。

3.根据权利要求2所述的模型训练方法，其特征在于，所述从所述各个模型参数中确定出本轮公开参数和本轮屏蔽参数，包括：

确定所述本地设备本轮训练的剪枝率；

从所述各个模型参数中确定上轮公开参数和上轮屏蔽参数，所述上轮公开参数为所述本地设备上一轮训练需要公开的模型参数，所述上轮屏蔽参数为所述本地设备上一轮训练需要屏蔽的模型参数；

基于所述剪枝率从所述上轮公开参数和所述上轮屏蔽参数中确定出所述本轮公开参数，并基于所述剪枝率从所述上轮公开参数和所述上轮屏蔽参数中确定出所述本轮屏蔽参数。

4.根据权利要求3所述的模型训练方法，其特征在于，所述基于所述剪枝率从所述上轮公开参数和所述上轮屏蔽参数中确定出所述本轮公开参数，并基于所述剪枝率从所述上轮公开参数和所述上轮屏蔽参数中确定出所述本轮屏蔽参数，包括：

基于所述剪枝率确定剪枝数量和复原数量；

基于所述上轮公开参数的当前值和所述剪枝数量从所述上轮公开参数中确定出第一状态变更参数和剩余公开参数；

基于所述上轮屏蔽参数处的当前梯度和所述复原数量从所述上轮屏蔽参数中确定出第二状态变更参数和剩余屏蔽参数；

基于所述第一状态变更参数、所述剩余公开参数、所述第二状态变更参数和所述剩余屏蔽参数确定所述本轮公开参数和所述本轮屏蔽参数。

5.根据权利要求4所述的模型训练方法，其特征在于，所述基于所述第一状态变更参数、所述剩余公开参数、所述第二状态变更参数和所述剩余屏蔽参数确定所述本轮公开参数和所述本轮屏蔽参数，包括：

将所述第二状态变更参数和所述剩余公开参数确定为所述本轮公开参数，将所述第一状态变更参数和所述剩余屏蔽参数确定为所述本轮屏蔽参数。

6.根据权利要求3所述的模型训练方法，其特征在于，所述确定所述本地设备本轮训练的剪枝率，包括：

对所述本地设备上一轮训练的剪枝率进行衰减处理，得到所述本地设备本轮训练的剪枝率。

7.根据权利要求2所述的模型训练方法，其特征在于，所述基于所述本轮公开参数和所述本轮屏蔽参数确定所述本地设备本轮训练的掩码向量，包括：

确定公开参数的向量标识，并确定屏蔽参数的向量标识，所述公开参数的向量标识与所述屏蔽参数的向量标识不同；

在所述本轮公开参数对应的向量位置设置所述公开参数的向量标识，并在所述本轮屏蔽参数对应的向量位置设置所述屏蔽参数的向量标识，得到所述本地设备本轮训练的掩码向量。

8.根据权利要求7所述的模型训练方法，其特征在于，所述基于所述掩码向量从所述各个模型参数中确定出所述本地设备本轮训练需要更新的模型参数，得到目标参数，包括：

基于所述掩码向量中的向量标识确定所述本轮公开参数，将所述本轮公开参数确定为所述目标参数。