[发明专利]基于联邦学习的人工智能模型训练方法、装置及系统

权利要求书

1.一种基于联邦学习的人工智能模型训练方法，其特征在于，应用于基于联邦学习的人工智能模型训练系统的中心节点，所述基于联邦学习的人工智能模型训练系统包括中心节点以及与中心节点通信连接的若干计算节点；所述基于联邦学习的人工智能模型训练方法包括：

获取初始人工智能模型并发送至各计算节点；

迭代进行更新步骤，至预设更新迭代阈值或当前人工智能模型满足预设条件时，将当前人工智能模型作为训练完成人工智能模型，并发送至各计算节点；

其中，所述更新步骤包括：

接收前预设数量个计算节点发送的梯度数据，进入全局参数更新过程；其中，梯度数据为计算节点根据本地训练数据，通过梯度计算得到的本地人工智能模型的各神经网络层的梯度；

全局参数更新过程：根据前预设数量个计算节点发送的梯度数据，更新人工智能模型的全局参数，并将更新的全局参数发送至前预设数量个计算节点；其中，更新的全局参数用于更新计算节点的本地人工智能模型的模型参数。

2.根据权利要求1所述的基于联邦学习的人工智能模型训练方法，其特征在于，所述更新步骤还包括：

向在全局参数更新过程中完成梯度计算的计算节点发送反馈信息；其中，反馈信息用于触发计算节点根据本地梯度数据，更新本地人工智能模型的模型参数。

3.根据权利要求1所述的基于联邦学习的人工智能模型训练方法，其特征在于，所述根据前预设数量个计算节点发送的梯度数据，更新人工智能模型的全局参数包括：

平均前预设数量个计算节点发送的梯度数据，得到平均梯度数据；

根据平均梯度数据，采用反向传播算法更新人工智能模型的全局参数。

4.一种基于联邦学习的人工智能模型训练方法，其特征在于，应用于基于联邦学习的人工智能模型训练系统的计算节点，所述基于联邦学习的人工智能模型训练系统包括中心节点以及与中心节点通信连接的若干计算节点；所述基于联邦学习的人工智能模型训练方法包括：

接收中心节点发送的初始人工智能模型，作为本地人工智能模型；

迭代进行梯度计算步骤至预设梯度计算迭代阈值，并接收中心节点发送的训练完成人工智能模型，或者，迭代进行梯度计算步骤至接收到中心节点发送的训练完成人工智能模型，采用训练完成人工智能模型更新本地人工智能模型；

其中，所述梯度计算步骤包括：

根据本地训练数据，通过梯度计算得到本地人工智能模型的各神经网络层的梯度，并当当前节点为前预设数量个完成梯度计算的计算节点时，将本地人工智能模型的各神经网络层的梯度作为梯度数据发送至中心节点；

当接收到中心节点发送的更新的全局参数时，根据更新的全局参数更新本地人工智能模型的模型参数。

5.根据权利要求4所述的基于联邦学习的人工智能模型训练方法，其特征在于，所述梯度计算步骤还包括：

当接收到中心节点发送的反馈信息时，响应反馈信息，根据本地梯度数据更新本地人工智能模型的模型参数。

6.根据权利要求4所述的基于联邦学习的人工智能模型训练方法，其特征在于，所述将本地人工智能模型的各神经网络层的梯度作为梯度数据发送至中心节点包括：

根据本地人工智能模型的各神经网络层的梯度，得到本地人工智能模型的各神经网络层的梯度的信息熵，并根据本地人工智能模型的各神经网络层的梯度的信息熵，确定本地人工智能模型的各神经网络层的梯度阈值；

根据本地人工智能模型的各神经网络层的梯度阈值，裁剪本地人工智能模型的各神经网络层的梯度中小于各神经网络层的梯度阈值的梯度，并将剪裁后的本地人工智能模型的各神经网络层的梯度作为梯度数据发送至中心节点。