[发明专利]一种模型训练方法、装置、系统及可读存储介质

权利要求书

1.一种模型训练生成方法，其特征在于，所述方法包括：

判断强化学习模型是否收敛；

若所述强化学习模型不收敛，则随机选择一个软件环境并生成一个随机数；

若所述强化学习模型收敛，则结束训练；

判断所述随机数是否大于预设阈值；

若否，则随机选取一条训练数据，所述训练数据来自于所述软件环境；对所述训练数据进行离线强化学习；

若是，则对所述软件环境进行在线强化学习；

完成强化学习后，再次执行所述随机选择一个软件环境并生成一个随机数的操作。

2.根据权利要求1所述的方法，其特征在于，所述判断强化学习模型是否收敛，包括：

基于DQN、DDQN结合模仿学习的算法，检查强化学习模型是否收敛。

3.根据权利要求1所述的方法，其特征在于，所述训练数据的生成方法，包括：

判断RPA流程中是否存在未记录的错误与相应的容错流程；

若存在未记录的错误与相应的容错流程，则模拟产生第一错误；

判断所述RPA流程是否可以完成容错处理流程；

若是，则记录所述容错处理流程；

若否，则进行人工干预；基于所述人工干预的流程，记录所述容错处理流程；

记录所述容错处理流程后，重新判断所述RPA流程中是否存在未记录的错误与相应的容错流程；

若存在未记录的错误与相应的容错流程，则模拟产生第二错误；

若不存在未记录的错误与相应的容错流程，则记录正常处理流程；

基于所述正常处理流程，产生训练数据。

4.根据权利要求3所述的方法，其特征在于，所述容错处理流程，包括：容错处理过程中的每一步操作、所述操作的对应环境以及所述操作前后的环境状态。

5.一种模型训练生成装置，其特征在于，所述装置包括：第一判断模块、选择生成模块、第二判断模块、选取模块、离线强化学习模块、在线强化学习模块；

所述第一判断模块，用于判断强化学习模型是否收敛；若所述强化学习模型收敛，则结束训练；

所述选择生成模块，用于若所述强化学习模型不收敛，则随机选择一个软件环境并生成一个随机数；

所述第二判断模块，用于判断所述随机数是否大于预设阈值；

所述选取模块，用于若随机数不大于预设阈值范围，则随机选取一条训练数据，所述训练数据来自于所述软件环境；

所述离线强化学习模块，用于对所述训练数据进行离线强化学习；

所述在线强化学习模块，用于若随机数大于预设阈值范围，对所述软件环境进行在线强化学习；

所述选择生成模块，还用于完成强化学习后，再次执行所述随机选择一个软件环境并生成一个随机数的操作。

6.根据权利要求5所述的装置，其特征在于，所述第一判断模块，具体用于：

基于DQN、DDQN结合模仿学习的算法，检查强化学习模型是否收敛。