[发明专利]一种仿蛇搜救机器人适应性步态自主涌现方法

摘要

本发明公开了一种仿蛇搜救机器人适应性步态自主涌现方法，针对仿蛇搜救机器人的特殊机械结构及其所处复杂动态非结构环境，使用深度强化学习理论设计相应的步态自主学习方法。此方法应用于仿蛇搜救机器人，可以通过不断从环境中获取信息生成最优控制策略，实现在复杂非结构的救援现场中仿蛇搜救机器人的适应性步态自主涌现。该方法使用分布式并行近似策略优化，将多个仿蛇搜救机器人间策略经验相互共享，实现对未知救援环境的快速适应性学习。本发明解决传统强化学习方法不能适应复杂非结构环境以及算法收敛速度慢、稳定性差等问题，更切合实际，能够使仿蛇搜救机器人在搜救任务中自主生成适应性最优步态。

主权项

1.一种仿蛇搜救机器人适应性步态自主涌现方法，其特征在于：包含以下步骤：步骤1.1基于动态高斯参数空间探索机理，构建用于仿蛇搜救机器人步态生成的深度高斯策略网络，以及用于评价控制策略优劣的深度高斯估值网络；步骤1.2建立仿蛇搜救机器人经验共享体系，使用异步并行经验共享池收集多个机器人从搜救任务获取的信息、对应奖赏信号及其自身位姿关节状态信息；步骤1.3设计基于策略梯度估计的本地近似策略优化器，对步骤1.1中的深度高斯策略网络进行训练，得到局部优化的仿蛇搜救机器人步态控制策略；步骤1.4根据步骤1.2中的异步经验共享池与步骤1.3的本地近似策略优化器，构建仿蛇搜救机器人全局策略优化器，针对当前对应的搜救环境信息对多个机器人的本地策略优化进行全局优化调整，生成相应的最优适应性步态，完成整个仿蛇搜救机器人适应性步态自主涌现方法的设计。