[发明专利]一种基于模拟器训练的机器人控制方法

摘要

本发明公开了一种基于模拟器训练的机器人控制方法，对机器人待执行任务环境进行仿真建模，建立模拟器；在模拟器中，随机生成T个不同性能参数的机器人，各机器人分别训练策略，最终得到由各自策略构成的基策略集；在模拟器中，另外随机生成M个不同性能参数的机器人，并在此M个机器人中优化得到各机器人在执行任务时所使用的基策略集的最优组合权重，将各机器人执行随机动作序列得到的特征Fi(A)和最优组合权重分别作为回归模型的输入和标签，优化得到最优的回归模型θ；在模拟器中，另外随机生成N个不同性能参数的机器人，在这N个机器人上优化出最优动作；在同一任务中，使未知的不同性能参数的机器人执行最优动作A*，得到该机器人的最优动作策略。

主权项

1.一种基于模拟器训练的机器人控制方法，其特征在于，包括以下步骤：步骤1：对待执行任务环境进行仿真建模，建立模拟器，并针对任务设计构建强化学习四要素：状态s、动作a、奖励函数R(s,a)、状态转移概率P(s'|s,a)；步骤2：在模拟器中，随机生成T个不同性能参数的机器人，并使用强化学习算法对各机器人分别进行训练得到各自动作策略π作为基策略，最终得到基策略集和组合策略其中，w为权重系数；步骤3：在模拟器中，另外随机生成M个不同性能参数的机器人，并在此M个机器人中优化得到各机器人在执行任务时所使用的基策略集的最优组合权重随后使此M个机器人均执行给定的一串初始随机动作A，并将各机器人执行动作A后的输出状态作为特征F_i(A)，将各机器人特征F_i(A)和最优组合权重分别作为回归模型的输入和标签，优化得到最优的回归模型θ，即步骤4：在模拟器中，另外随机生成N个不同性能参数的机器人，在这N个机器人上优化出最优动作步骤5：在同一任务中，使未知的不同性能参数的机器人执行最优动作A^*，得到该机器人的最优动作策略