[发明专利]一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法

摘要

本发明提供了一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法，该方法相较于传统的通过预先编程实现机器人的运动控制的方式，本发明使用了深度强化学习，让机器人能够根据环境的复杂变化情况，自适应的调整运动策略，提高了在复杂环境下的“存活率”和适应能力；同时，相较于单一的actor‑critic深度强化学习架构，本方法实现了多actor‑多critic的深度强化学习架构，在训练深度神经网络时，能够加快训练，更快的收敛神经网络。

主权项

1.一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法，其特征在于：包括以下步骤：S1.由四轴飞行器通过俯视摄像头获取复杂环境的地形信息，并根据环境地形信息，以六足机器人当前的所在位置为起点，设置一个终点，规划运动轨迹，并传递给六足机器人；S2.六足机器人通过安装在机体上的RGB摄像头获取机体周围的环境照片，记为D1，以及通过六足机器人机体上装有的传感器获取机体当前的状态信息，包括线速度、角速度、六足机器人在三维空间中的姿态表示四元数、还有每个腿部关节自由度的角度，记为D2；S3.六足机器人通过预先训练过的基于行动‑评价架构的深度神经网络对机体周围的复杂地形环境照片和六足机器人自身当前的状态信息进行数据融合、降维和特征的提取；S4. 六足机器人根据数据融合、降维和特征提取的结果得出六足机器人的运动控制策略，然后在整体运动轨迹的基础上，根据控制策略来控制六足机器人每条腿上每个正常工作的关节驱动机构来完成关节的自由度运动，从而实现六足机器人即使一两个关节自由度出现问题的情况下，也能完成复杂地形环境的自适应运动。