[发明专利]一种基于多传感器四足机器人的助盲系统和方法

权利要求书

1.一种基于多传感器四足机器人的助盲系统，与四足机器人配合使用，四足机器人包括机身(6)和电源(13)，其特征在于，包括环境感知模块、决策规划模块、双向人机交互模块以及其他部分，其中，环境感知模块包括压力传感器(5)，前置深度相机(8)，多线程激光雷达(9)，鱼眼双目相机(11)，后置GPS(20),前置GPS(21)；决策规划模块包括：控制器(12)；双向人机交互模块包括震动手环(1)，弹性牵引绳(2)，后置深度相机(3)，语音模块(7)，其他部分包括后置连接件(4)，二自由度云台(10)，前置连接件(19)；

四个压力传感器5分别装配在机器人足底，采集四足受力并作为运动反馈信号传递给控制器(12)，由控制器(12)处理后控制机身(6)保持运动稳定性；

前置深度相机(8)获取四足机器人前方视野范围内的RGB图像和深度信息，经控制器(12)特征提取后获得语义信息，包含路面、阶梯、标识牌以及行人；

多线程激光雷达(9)实时扫描周围障碍物信息，经控制器(12)降噪后由控制器(12)进行路径规划；

位于机身(6)下方的前后两对鱼眼双目相机(11)对四足机器人行进过程中的路面环境进行感知，由控制器(12)分析后判断是否有障碍物，并由语音模块(7)和震动手环模块(1)根据震动方向和幅度提醒盲人注意避让；

语音模块(7)用于接收和播放声音，一方面接收盲人的控制指令，控制指令经由控制器(12)控制相应的执行单元执行动作，另外一方面在后置深度相机(3)获取到盲人肢体动作分析身体状态，如果摔倒则向外界传递求助信息；

后置连接件(4)用于将牵引绳(2)连接于机身(6)，牵引绳(2)的另外一端连接震动手环(1)，震动手环(1)一方面通过震动向盲人发出警示，另一方面监测并评估盲人的身体健康状况，用于预防意外事故的发生；

后置深度相机(3)通过二自由度云台(10)固定于机身(6)，由二自由度云台带动后置深度相机转动，控制器(12)通过分析获取到的图像判断盲人的身体关键点状态，以此信息监督盲人的健康状况，检测到摔倒意外后由震动手环(1)或语音模块(7)向外界求助。

前置GPS(21)和后置GPS(20)分别位于四足机器人前后机身上方，获取四足机器人的经纬度信息，经控制器(12)计算获得当前位置信息和航向角，辅助完成四足机器人室外导航任务，并提供全局坐标系位置。

2.根据权利要求1所述的一种基于多传感器四足机器人的助盲导航系统，其特征在于：控制器(12)采用深度学习算法预测电机旋转角度和力矩，保证四足机器人机身(6)稳定性。

3.根据权利要求1所述的一种基于多传感器四足机器人的助盲系统，其特征在于：控制器(12)采用语义分割算法获得助盲系统前方环境的语义信息。

4.根据权利要求1所述的一种基于多传感器四足机器人的助盲系统，其特征在于：控制器(12)根据先验地图和局部点云运行规划算法实现路径规划。

5.根据权利要求1所述的一种基于多传感器四足机器人的助盲系统，其特征在于：控制器(12)运行局部避障和运动控制算法实现局部避障。

6.根据权利要求1所述的一种基于多传感器四足机器人的助盲系统，其特征在于：控制器(12)采用单目标跟踪算法、舵机控制算法和行人关键点检测算法捕捉盲人的肢体动作，用于监督盲人的身体健康状况。

7.一种基于多传感器四足机器人的助盲方法，其特征在于：助盲系统装配在四足机器人上，由多线程激光雷达(9)预先建立栅格地图，盲人出行时向语音模块(7)下达语音指令或动作指令选择地图和目的地，控制器(12)由先验地图，GPS数据和局部点云实现全局路径规划和局部路径规划，鱼眼双目相机(11)获取足底路面信息，对规划路径进行微调，由语音模块(7)向盲人发出前进指令；前置深度相机(8)获取RGB图像进行语义分割，根据不同地形控制四足机器人选择行走或跨越步态；二自由度云台(10)和后置深度相机(3)配合，视觉跟踪盲人并推断身体关键点，获取盲人运动过程中的动作信息，检测盲人是否摔倒，发生意外时由语音模块(7)发出求助信号；震动手环(1)接收控制器(12)的方向信息，调节震动方位和幅度引导盲人躲避障碍物，同时检测盲人心率，发生意外时根据定位信息由语音模块向外界传递求助信息。