[发明专利]一种模型训练方法、装置、系统及可读存储介质

说明书

一种模型训练方法、装置、系统及可读存储介质，应用于强化学习技术领域。该方法包括：判断强化学习模型是否收敛；若强化学习模型不收敛，则随机选择一个软件环境并生成一个随机数；判断机数是否大于预设阈值；若否，则随机选取一条训练数据；对训练数据进行离线强化学习；若是，则对软件环境进行在线强化学习；完成强化学习后，再次判断强化学习模型是否收敛；若强化学习模型不收敛，则再次随机选择一个软件环境并生成一个随机数；若强化学习模型收敛，则结束训练。由此，本申请基于强化学习算法训练模型，使模型充分学习已知的容错知识，并在相类似错误发生时可以自动处理，大大提高流程容错性。

技术领域

本申请涉及强化学习技术领域，特别是涉及一种模型训练生成方法、装置、系统及可读存储介质。

背景技术

工业生产中的计算机软件操作通常具有一定的重复性和规律性，为了减少重复性操作任务的代价和成本，产生了RPA(Robotic Process Automation：机器人流程自动化)技术。RPA技术按照一定的规则自动化执行鼠标、键盘等操作流程以完成特定的任务，其整个过程模拟人类的操作流程，其中，软件组件的识别和操作是其中的重要部分。

在实际生产中，软件组件可能会因为更新或异常而出现变化，操作也有可能因为发生意外而未按照预定执行，因此容错是RPA的重要组成部分，也是自动化流程能够稳定运行的关键。

然而，软件中的操作元素，需要针对性开发元素定位方法，元素一旦变化或更新就需要重新适配，导致元素变化适应能力差，容错性低。

发明内容

本申请提供了一种模型训练方法、装置、系统及可读存储介质，能够提高元素的变化适应能力与容错性。

本申请公开了如下技术方案：

第一方面，本申请公开了一种模型训练生成方法，所述方法包括：

判断强化学习模型是否收敛；

若所述强化学习模型不收敛，则随机选择一个软件环境并生成一个随机数；

若所述强化学习模型收敛，则结束训练；

判断所述随机数是否大于预设阈值；

若否，则随机选取一条训练数据，所述训练数据来自于所述软件环境；对所述训练数据进行离线强化学习；

若是，则对所述软件环境进行在线强化学习；

完成强化学习后，再次执行所述随机选择一个软件环境并生成一个随机数的操作。

可选的，所述判断强化学习模型是否收敛，包括：

基于DQN、DDQN结合模仿学习的算法，检查强化学习模型是否收敛。

可选的，所述训练数据的生成方法，包括：

判断RPA流程中是否存在未记录的错误与相应的容错流程；

若存在未记录的错误与相应的容错流程，则模拟产生第一错误；

判断所述RPA流程是否可以完成容错处理流程；

若是，则记录所述容错处理流程；

若否，则进行人工干预；基于所述人工干预的流程，记录所述容错处理流程；

记录所述容错处理流程后，重新判断所述RPA流程中是否存在未记录的错误与相应的容错流程；

若存在未记录的错误与相应的容错流程，则模拟产生第二错误；

若不存在未记录的错误与相应的容错流程，则记录正常处理流程；

基于所述正常处理流程，产生训练数据。