[发明专利]一种基于TMS-PPO算法的肌肉骨骼机器人控制方法

说明书

一种基于TMS‑PPO算法的肌肉骨骼机器人控制方法，包括如下步骤：设计人体手臂在矢状面上的运动实验以提取相应的表面肌电，然后经过肌电信号预处理得到肌肉激活；基于时变肌肉协同元TMS的时域特性约束利用梯度下降的分解算法对真实人体运动的肌电激活信号进行分解得到TMS；基于近端策略优化算法PPO对TMS进行尺度和相位上的调制，完成对肌肉骨骼机器人的运动控制。为了验证本发明方法的有效性，将TMS‑PPO与PPO算法对于肌肉骨骼机器人的运动控制进行对比。结果表明，本发明降低了PPO算法的学习难度，充分发挥TMS作为肌肉骨骼机器人的运动原语在运动方向以及速度方面的相关作用。

技术领域

本发明属于机器人控制领域，具体涉及一种基于TMS-PPO算法的肌肉骨骼机器人控制方法。

背景技术

随着机器人研究的逐渐深入，其在国防安全、工业制造、智能决策等领域的重要性日益凸显。目前，关节连杆机器人应用最为广泛，但其存在着对附加设备精度依赖较大、人机交互安全性低和鲁棒性较差等问题。相较而言，人类具有灵活的身体并能完成高精度的运动和控制任务，因而具有类人骨骼、关节和肌肉的肌肉骨骼机器人成为目前人机交互研究热点。由于关节和肌肉之间的冗余关系，人体肌肉骨骼系统可以更为灵活地实现运动，因此关于中枢神经系统是如何实现上述控制过程的研究成为类人肌肉骨骼机器人研究领域的热点。

多项研究表明，人体高度复杂的肌肉骨骼系统是通过调整多组精确且相对简单的肌肉群信号的尺度和相位参数而实现，即肌肉协同(Muscle Synergy,MS)，进而生成肌肉激活信号驱动肌肉骨骼系统运动。相关学者提出了一种基于遗传算法和时变肌肉协同(TimeVarying Muscle Synergy，TMS)的神经肌肉控制方法，实现了肌肉骨骼机器人的运动控制，然而其TMS是由神经网络通过遗传算法人工生成，而非真实的肌肉激活分解得到，生理解释性较差。另外有研究利用循环神经网络模拟人体运动皮质直接生成肌肉激活信号，并结合深度强化学习进行肌肉骨骼机器人的控制，但是该方法没有考虑肌肉协同作用，增大了强化学习的学习难度，学习效率不高。此外，相关研究团队将非时变肌肉协同元也称空间肌肉协同元(Spatial Muscle Synergy,SMS)引入至柔性工程机器人的控制过程中，使机器人在学习周期和精度方面都取得了更好的结果。然而已有研究表明，相比于SMS，TMS与运动方向以及速度具有更好的相关性。

发明内容

为了解决上述存在的问题，本发明提出：一种基于TMS-PPO算法的肌肉骨骼机器人控制方法，包括如下步骤：

S1、设计人体手臂在矢状面上的运动实验以提取相应的表面肌电，然后经过肌电信号预处理得到肌肉激活；

S2、基于时变肌肉协同元的时域特性约束利用梯度下降的分解算法对真实人体运动的肌电激活信号进行分解得到TMS；

S3、基于近端策略优化算法对TMS进行尺度和相位上的调制，完成对肌肉骨骼机器人的运动控制。

进一步地，所述的步骤S1中，

按照表面肌电采集的标准流程，采用Noraxon无线表面肌电装置，采样频率为2kHz，提取常见的上肢后摆运动、前摆运动和屈肘运动相应的TMS，采集肱二头肌长头、肱二头肌短头、肱肌、肱桡肌、肱三头肌长头、肱三头肌外侧头、肱三头肌内侧头、三角肌前束、三角肌后束共9个通道的表面肌电信号并进行预处理得到相应的肌肉激活，利用梯度下降算法从三种运动的肌肉激活信号中提取相应的TMS。

进一步地，所述的步骤S2中，

假设肌肉激活信号m(t)由N个TMS通过在尺度和相移上的调制叠加得到，则肌肉激活信号表示为：