[发明专利]一种基于IMU和视频流的下肢外骨骼控制装置及方法

权利要求书

1.一种基于IMU和视频流的下肢外骨骼控制装置，其特征在于，所述控制装置包括IMU(1)、髋关节伺服电机(2)、膝关节伺服电机(4)、中央处理器(5)、嵌入式控制器(6)、电源模块(7)和摄像头(8)，所述IMU(1)置于装置的四个关节环处，所述髋关节伺服电机(2)和膝关节伺服电机(4)均置于装置等轴侧壁上，所述中央处理器(5)、嵌入式控制器(6)以及电源模块(7)均置于装置背面面板上，所述摄像头(8)独立于装置外且正对装置侧轴，所述中央处理器(5)分别与IMU(1)、摄像头(8)和嵌入式控制器(6)通信连接，所述嵌入式控制器(6)同时与髋关节伺服电机(2)和膝关节伺服电机(4)通信连接，所述电源模块(7)分别与IMU(1)、髋关节伺服电机(2)、膝关节伺服电机(4)和中央处理器(5)、嵌入式控制器(6)和摄像头(8)电连接。

2.根据权利要求1所述的基于IMU和视频流的下肢外骨骼控制装置，其特征在于，所述髋关节伺服电机(2)连接上方的两个髋关节环，所述膝关节伺服电机(4)连接下方的两个膝关节环。

3.根据权利要求1所述的基于IMU和视频流的下肢外骨骼控制装置，其特征在于，所述IMU(1)置于关节环外侧，所述关节环由金属和柔性绑带连接而成。

4.根据权利要求2所述的基于IMU和视频流的下肢外骨骼控制装置，其特征在于，所述髋关节环和膝关节环均置于装置竖轴内侧，所述髋关节伺服电机(2)和膝关节伺服电机(4)置于装置竖轴外侧，且置于两竖轴内侧的髋关节环、膝关节环和脚踏板均位于同一竖直平面。

5.根据权利要求1所述的基于IMU和视频流的下肢外骨骼控制装置，其特征在于，所述控制装置还包括高度调节装置(3)，所述控制装置中的两竖轴利用高度调节装置(3)可自由调节高度。

6.一种基于IMU和视频流的下肢外骨骼控制方法，其特征在于，所述方法包括以下步骤：

S1：利用IMU和视频流方式采集使用者的运动信息；

S2：利用中央处理器将采集到的运动信息依据深度学习算法进行融合处理，生成嵌入式控制系统的输入信号；

S3：将经中央处理器处理后的信号传输至嵌入式控制器进行信号转换；

S4：利用嵌入式控制器依据转换的信号控制关节伺服电机，电机输出辅助力矩和旋转角度；

S5：利用关节伺服电机中的角度传感器和力矩传感器监测下肢外骨骼是否执行到目标位置并将执行状态反馈回中央处理器，如果未达到预期目标值，通过利用中央处理器对此次误差进行计算，并对下一次关节角度和关节力矩的预测值进行及时调整。

7.根据权利要求6所述的基于IMU和视频流的下肢外骨骼控制方法，其特征在于，所述S2中深度学习算法包括以下分步骤：

S2-1：将摄像机采集的视频流数据输入到用于人体姿态估计的堆叠沙漏网络中获得人体下肢关键点的坐标，并计算得到关节角度；

S2-2：将IMU采集的数据和基于视频流数据计算得到的关节角度按照一定的权重进行融合后输入至CNN-LSTM深度神经网络；

S2-3：将融合的IMU数据和基于视频流数据计算得到的关节角度进行滤波和特征提取，利用CNN-LSTM深度神经网络判断当前时刻的运动状态及步态相位；

S2-4：通过CNN-LSTM深度神经网络算法根据包括当前时刻T在内的前50ms数据预测T+1ms时刻的关节力矩和关节角度；

S2-5：生成嵌入式控制系统的输入信号。

8.根据权利要求6所述的基于IMU和视频流的下肢外骨骼控制方法，其特征在于，所述S3中嵌入式控制器采用串级PID闭环控制算法，将利用深度学习算法预测得到的关节角度以及关节力矩作为嵌入式控制器的输入，利用位置控制器和力矩控制器控制电机运转。