[发明专利]一种基于多协议的语言和图像理解系统

说明书

本发明公开了一种基于多协议的语言和图像理解系统，包括影像收集模块、语音播报模块和人体识别模块，所述人体识别模块包括有肢体移速分析单元、使用者残疾状况分析单元和音影分拆单元，所述肢体移速分析单元用于测量使用者肢体伸出至接触机器人期间的肢体移动速度以此判定使用者的肢体灵活层级，若是肢体灵活层级高则机器人显示屏显示画面播放速度快以此节约时间，避免后续聋哑人等待时间过长，所述使用者残疾状况分析单元用于检测使用者是听力故障还是语言故障，亦或是两者均出现故障，所述音影分拆单元用于根据使用者的残疾分析报告分时间段启用语音功能和影像功能，本发明，具有实用性强和自动识别手语并用多种回应方式解决问题的特点。

技术领域

本发明涉及手语技术领域，具体为一种基于多协议的语言和图像理解系统。

背景技术

聋哑人在公共场所遇见问题，如不明地形和商铺信息，由于聋哑人交流的困难，向行人寻求帮助效率低，可以寻找机器人进行帮助，机器人根据语言的和图像理解进行疑问解答，有效提高聋哑人在此空间内的舒适感，因此，设计实用性强和自动识别手语并用多种回应方式解决问题的一种基于多协议的语言和图像理解系统是很有必要的。

发明内容

本发明的目的在于提供一种基于多协议的语言和图像理解系统，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种基于多协议的语言和图像理解系统，包括影像收集模块、语音播报模块和人体识别模块，其特征在于：所述人体识别模块包括有肢体移速分析单元、使用者残疾状况分析单元和音影分拆单元，所述肢体移速分析单元用于测量使用者肢体伸出至接触机器人期间的肢体移动速度以此判定使用者的肢体灵活层级，若是肢体灵活层级高则机器人显示屏显示画面播放速度快以此节约时间，避免后续聋哑人等待时间过长，所述使用者残疾状况分析单元用于检测使用者是听力故障还是语言故障，亦或是两者均出现故障，所述音影分拆单元用于根据使用者的残疾分析报告分时间段启用语音功能和影像功能以减少机器人电池不必要的消耗。

根据上述技术方案，使用者肢体移动速度检测流程：

机器人在公众区域运行，使用者需要机器人帮助则站立在机器人正面即机器人立即停止运行，检测当前使用者，扫描得出当前使用者的身高和人体形态，计算得出人体距离机器人显示屏的水平距离记为L_水平，计算得出人体距离机器人显示屏最近点到人体手部的距离记为L_垂直，继而通过勾股定理计算得出人体手部到机器人显示屏的距离为L_手；

机器人的有效扫描距离为L_有效距离，若是L_水平大于L_有效距离则机器人发出语音播报提醒使用者靠近，若是L_水平小于等于L_有效距离则机器人计算得出使用者的肢体移动速度V_手，V_手＝L_手/T_接触时间，式中，T_接触时间为机器人停止运行到使用者肢体接触机器人显示屏的时间，设定额定使用者移动速度为V_额，将V_额分为V1-V6六个层级，V1表示使用者的肢体移动速度最慢，V6表示使用者肢体移动速度最快，将V_手与V_额进行比较判定得出相应的语音播报速度层级和影像播放速度层级，设定语音播报速度层级为A1-A6，A1表示语音播报速度最慢，A6表示语音播报速度最快，设定影像播放速度层级B1-B6，B1表示影像播放速度最慢，B6表示影响播放速度最快，达到根据人体肢体移动速度判定信息接受速度的效果，在有效传递信息的同时做到个人服务定制化，使得使用者求助时更加舒服。

根据上述技术方案，判定聋哑人残疾程度流程：