[发明专利]一种基于深度强化学习的下肢康复机器人随动控制方法

说明书

本发明公开了.一种基于深度强化学习的下肢康复机器人随动控制方法，具体包括如下过程：分别采集患者在使用下肢康复机器人进行康复训练时，下肢关节运动信息、足底压力分布信息和腰带压力信息作为状态值，将下肢康复机器人对患者的康复助行速度大小和方向作为行为值，以患者腰部的腰带与下肢康复机器人腰部支撑的相互压力为奖惩值，构建深度强化模型，用于对患者使用下肢康复机器人进行康复训练时的康复行为学习，从而实现下肢康复机器人可根据患者自主运动意图进行随动助行。

技术领域

本发明属于医疗电子技术领域，涉及一种基于深度强化学习的下肢康复机器人随动控制方法。

背景技术

脑卒中导致的下肢功能障碍极大地降低了患者的行动能力与生活质量。其主要病理表现为患者患病的下肢麻木无力，患者难以对患肢进行迈步行走等基本行动，故脑卒中患者常需依靠辅助设备进行站立支撑等。当前，康复医院主要依靠专业的康复医师或者护工对患者进行人工搀扶助行，这极大地加剧了医护资源的紧缺，为此，康复医院亟需一种无需护理医师便可对患者进行康复助行训练的康复助行机器人，以加快患者对平衡能力及患病肢体的康复过程。

当前，脑卒中患者的康复治疗主要采用三级康复训练治疗方法：即一级康复训练，病后1个月内进行肢体摆放与体位转换、患肢关节运动；二级康复训练，病后3个月内进行站立平衡训练、挪步与穿衣等训练；三级康复训练，病后3～6个月内进行吃饭、肢体运动、行走锻炼以及处理个人卫生等日常生活能力训练，重点练习健肢对患肢的代偿功能。现有的下肢康复机器人主要是针对脑卒中患者一二级的康复训练需求设计，其机械构造十分庞大，造价高昂，主要面向与大型的康复医院等，且其原理主要是将患者的患肢预先固定于机械结构上，然后由机械结构提供动力，带动固定在机械上的患肢进行康复训练。但由于下肢功能障碍的脑卒中患者因其身体素质和脑卒中患病程度的差异性，每个患者对康复训练的强度、持续时间、患肢动作幅度大小以及康复训练方法的需求都极为不同，无法使用固定参数的治疗手法对患者进行康复训练治疗。这使得根据患者康复训练的实时需求对康复机器人进行动态调整成为康复机器人的一个关键技术，但由于患者的差异性且即便同一患者在不同的康复训练时段的需求亦大不相同，故下肢康复机器人需具备对患者在康复训练时的下肢运动状态进行实时预测的能力，才能对患者的自主操作康复训练行为进行动态跟随，但现有基于逻辑表查询的下肢康复机器人只能固定一套参数，无法进行动态调整，近年来出现的一些基于深度学习等神经网络的智能下肢康复机器人亦只能在大量的训练后，才能实现针对某些特定患者的特定康复方法，无法在患者康复训练的过程中对下肢康复机器人的策略进行在线学习与更新。另外，现有的一些研究亦提出通过使用大型足底压力垫、拐杖扶手上安装压力传感器、3D运动传感器和视觉摄像头等为实现对患者的运动进行评估。但这些方法通常用于大型康复治疗室，且上述的这些传感器通常需固定于室内，无法适用于户外移动式的下肢康复机器人。

发明内容

本发明的目的是提供一种基于深度强化学习的下肢康复机器人随动控制方法，该方法将下肢康复机器人根据患者康复训练时下肢肢体的运动状态预测做出助行行为决策的问题建模为马尔可夫决策过程(Markov Decision Process,MDP)，并通过深度强化学习的算法进行求解，实现下肢康复机器人可通过对患者在自主操作康复机器人时的下肢肢体运动状态预测对下肢康复机器人的助行行为进行预先调整，从而使得下肢康复机器人的助行行为与患者的自主运动相一致，即主动跟随患者的自主运动，从而有效增强了下肢康复机器人的安全性，提高了患者康复治疗效果。

本发明所采用的技术方案是，.一种基于深度强化学习的下肢康复机器人随动控制方法，具体包括如下过程：分别采集患者在使用下肢康复机器人进行康复训练时，下肢关节运动信息、足底压力分布信息和腰带压力信息作为状态值，将下肢康复机器人对患者的康复助行速度大小和方向作为行为值，以患者腰部的腰带与下肢康复机器人腰部支撑的相互压力为奖惩值，构建深度强化模型，用于对患者使用下肢康复机器人进行康复训练时的康复行为学习，从而实现下肢康复机器人可根据患者自主运动意图进行随动助行。

本发明的特点还在于：