[发明专利]训练模型的更新方法、系统、智能设备、服务器及存储介质

权利要求书

1.一种训练模型的更新方法，其特征在于，所述训练模型的更新方法包括以下步骤：

运行在实时环境中的强化学习智能设备获取预设长度存储队列中的实时样本数据进行强化学习训练，得到第一训练模型；

将所述第一训练模型发送给联邦学习服务器，以供所述联邦学习服务器对所述第一训练模型和数据服务器发送的，根据历史样本数据进行强化学习训练得到的第二训练模型进行联邦学习，得到联邦模型；

当接收到所述联邦学习服务器返回的联邦模型后，根据所述联邦模型更新所述第一训练模型。

2.如权利要求1所述的训练模型的更新方法，其特征在于，所述运行在实时环境中的强化学习智能设备获取预设长度存储队列中的实时样本数据进行强化学习训练，得到第一训练模型的步骤之前，还包括：

获取所述实时环境中的实时样本数据，并将所述实时样本数据存储至预设长度的存储队列中。

3.如权利要求2所述的训练模型的更新方法，其特征在于，所述获取所述实时环境中的实时样本数据，并将所述实时样本数据存储至预设长度的存储队列中的步骤包括：

获取所述实时环境中的实时样本数据，检测预设长度的存储队列的剩余存储空间是否小于存储所述实时样本数据所需的数据空间；

若所述剩余存储空间小于所述数据空间，则在按照预设删除规则删除所述存储队列中存储的样本数据后，将所述实时样本数据存储至预设长度的存储队列中。

4.如权利要求3所述的训练模型的更新方法，其特征在于，所述获取所述实时环境中的实时样本数据的步骤之后，还包括：

根据预设的样本发送周期确定发送所述实时样本数据的数据发送时间，并在当前时间为所述数据发送时间时将所述实时样本数据发送给数据服务器，以供所述数据服务器接收并存储所述实时样本数据。

5.如权利要求1所述的训练模型的更新方法，其特征在于，所述将所述第一训练模型发送给联邦学习服务器，以供所述联邦学习服务器对所述第一训练模型和数据服务器发送的，根据历史样本数据进行强化学习训练得到的第二训练模型进行联邦学习，得到联邦模型，并返回所述联邦模型的步骤之前，还包括：

根据预设的模型发送周期确定发送所述第一训练模型的模型发送时间；

所述将所述第一训练模型发送给联邦学习服务器，包括：

在当前时间为所述模型发送时间时执行将所述第一训练模型发送给联邦学习服务器。

6.如权利要求1至5任一项所述的训练模型的更新方法，其特征在于，所述当接收到所述联邦学习服务器返回的联邦模型后，根据所述联邦模型更新所述第一训练模型的步骤包括：

当接收到所述联邦学习服务器返回的联邦模型后，获取当前时间；

若根据更新周期确定所述当前时间为更新时间，则根据所述联邦模型更新所述第一训练模型。

7.一种训练模型的更新方法，其特征在于，所述训练模型的更新方法包括以下步骤：

联邦学习服务器接收运行在实时环境中的各强化学习智能设备发送的第一训练模型，以及接收数据服务器发送的，根据历史样本数据进行强化学习训练得到的第二训练模型，其中，所述第一训练模型是基于实时样本数据进行强化学习训练得到的；

对所述第一训练模型和所述第二训练模型进行联邦学习，得到联邦模型；

将所述联邦模型发送给所述数据服务器和各强化学习智能设备，以供所述数据服务器和各强化学习智能设备根据所述联邦模型对应更新训练模型。

8.如权利要求7所述的训练模型的更新方法，其特征在于，所述对所述第一训练模型和所述第二训练模型进行联邦学习，得到联邦模型的步骤包括：

获取所述第一训练模型和所述第二训练模型对应的模型权重；

根据所述模型权重对所述第一训练模型和所述第二训练模型进行联邦学习，得到联邦模型。