[发明专利]训练模型的更新方法、系统、智能设备、服务器及存储介质

说明书

本发明公开了一种训练模型的更新方法、系统、智能体、服务器及存储介质，涉及金融科技领域，该方法包括步骤：联邦学习服务器接收运行在实时环境中的各强化学习智能体发送的第一训练模型，以及接收数据服务器发送的，根据历史样本数据训练得到的第二训练模型；对所述第一训练模型和所述第二训练模型进行联邦学习，得到联邦模型；将所述联邦模型发送给所述数据服务器和各强化学习智能体，以供所述数据服务器和各强化学习智能体根据所述联邦模型对应更新训练模型。本发明提高了通过训练模型得到训练结果的准确性，即提高了训练模型对样本知识的抽取能力，以及提高了训练模型的稳定性。

技术领域

本发明涉及金融科技(Fintech)的数据处理技术领域，尤其涉及一种训练模型的更新方法、系统、智能设备、服务器及存储介质。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，数据处理技术也不例外，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。

时下工业界应用强化学习的训练方式通常为，训练的强化学习智能设备(Agent)会维持一个固定规模的经验池(经验回放)，而当该经验池的规模超过一定大小时，强化学习智能设备会按照一定的规则对之前的记忆进行遗忘，即按照一定的规则删除之前存储的数据。该方式存在如下问题：①样本浪费：一般情况下，实时环境中强化学习智能设备搜集到的数据具备重大的价值，如果按照当前的强化学习训练方式，会删除历史搜集的样本数据，因此会导致历史搜集的样本数据的价值存在巨大浪费；②知识遗忘：由于实时环境的难以预测性质，样本数据的分布具有较大的不确定性，随着经验池中历史样本数据的更迭，强化学习智能设备在历史环境学习到的知识可能会被覆盖甚至遗忘。

由此可知，现有的强化学习训练只会采用当前的样本数据进行强化学习，从而导致训练所得的模型对样本的知识抽取能力低下，且训练所得的模型稳定性差。

发明内容

本发明的主要目的在于提供一种训练模型的更新方法、系统、智能设备、服务器及存储介质，旨在解决现有的通过强化学习训练所得的模型对样本的知识抽取能力低下，且训练所得的模型稳定性差的技术问题。

为实现上述目的，本发明提供一种训练模型的更新方法，所述训练模型的更新方法包括步骤：

运行在实时环境中的强化学习智能设备获取预设长度存储队列中的实时样本数据进行强化学习训练，得到第一训练模型；

将所述第一训练模型发送给联邦学习服务器，以供所述联邦学习服务器对所述第一训练模型和数据服务器发送的，根据历史样本数据训练得到的第二训练模型进行联邦学习，得到联邦模型，并返回所述联邦模型；

当接收到所述联邦学习服务器返回的联邦模型后，根据所述联邦模型更新所述第一训练模型。

优选地，所述运行在实时环境中的强化学习智能设备获取预设长度存储队列中的实时样本数据进行强化学习训练，得到第一训练模型的步骤之前，还包括：

获取所述实时环境中的实时样本数据，并将所述实时样本数据存储至预设长度的存储队列中。

优选地，所述获取所述实时环境中的实时样本数据，并将所述实时样本数据存储至预设长度的存储队列中的步骤包括：

获取所述实时环境中的实时样本数据，检测预设长度的存储队列的剩余存储空间是否小于存储所述实时样本数据所需的数据空间；

若所述剩余存储空间小于所述数据空间，则在按照预设删除规则删除所述存储队列中存储的样本数据后，将所述实时样本数据存储至预设长度的存储队列中。

优选地，所述获取所述实时环境中的实时样本数据的步骤之后，还包括：