[发明专利]一种模型处理方法、联邦学习方法及相关设备

权利要求书

1.一种模型处理方法，其特征在于，所述方法包括：

获取包括标签值的训练数据；

以所述训练数据为输入，根据第一损失函数训练神经网络模型，得到第一模型，所述第一模型包括多个子结构，所述多个子结构中的每个子结构包括至少两个神经元；

基于第二损失函数以及约束条件对所述第一模型进行剪枝，以得到第二模型，所述第二损失函数用于指示将所述多个子结构中的至少一个子结构进行剪枝，所述约束条件用于约束所述第二模型的精度不低于所述第一模型的精度，所述精度指示模型的输出值与所述标签值之间的差异程度。

2.根据权利要求1所述的方法，其特征在于，所述约束条件具体用于约束所述第一损失函数的下降方向与所述第二损失函数的下降方向之间的夹角小于或等于90度。

3.根据权利要求1所述的方法，其特征在于，所述约束条件具体用于约束所述第二模型的所述第一损失函数的值小于或等于所述第一模型的所述第一损失函数的值。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述第二损失函数包括第一稀疏项，所述第一稀疏项与所述多个子结构中的至少一个子结构的权重相关。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述基于第二损失函数以及约束条件对所述第一模型进行剪枝，以得到第二模型，包括：

基于所述第二损失函数对所述第一模型进行至少一次随机剪枝，直至剪枝所述第一模型后得到的所述第二模型满足所述约束条件。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法应用于客户端，所述训练数据是所述客户端本地的数据，所述方法还包括：

接收上游设备发送的所述神经网络模型；

向所述上游设备发送所述第二模型。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述训练数据包括：图像数据，音频数据或者文本数据。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述神经网络模型用于对图像数据进行分类和/或识别。

9.一种联邦学习方法，其特征在于，所述方法包括：

向多个下游设备发送神经网络模型，所述神经网络模型包括多个子结构，所述多个子结构中的每个子结构包括至少两个神经元；

接收来自所述多个下游设备的多个第一模型，所述多个第一模型由所述神经网络模型训练得到；

基于损失函数以及约束条件对所述多个第一模型分别进行剪枝，其中，所述损失函数用于指示对所述多个第一模型的所述子结构进行剪枝，所述约束条件用于约束每个所述第一模型剪枝后的精度不低于剪枝前的精度；

将剪枝后的所述多个第一模型进行聚合，以得到第二模型。

10.一种联邦学习方法，其特征在于，所述方法包括：

向多个下游设备发送神经网络模型，所述神经网络模型包括多个子结构，所述多个子结构中的每个子结构包括至少两个神经元；

接收来自所述多个下游设备的多个第一模型，所述多个第一模型由所述神经网络模型训练得到；

将所述多个第一模型进行聚合，以得到第二模型；

基于损失函数以及约束条件对所述第二模型进行剪枝，其中，所述损失函数用于指示对所述第二模型的所述子结构进行剪枝，所述约束条件用于约束所述第二模型剪枝后的精度不低于剪枝前的精度。