[发明专利]一种基于多协议的语言和图像理解系统

权利要求书

1.一种基于多协议的语言和图像理解系统，包括影像收集模块、语音播报模块和人体识别模块，其特征在于：所述人体识别模块包括有肢体移速分析单元、使用者残疾状况分析单元和音影分拆单元，所述肢体移速分析单元用于测量使用者肢体伸出至接触机器人期间的肢体移动速度以此判定使用者的肢体灵活层级，若是肢体灵活层级高则机器人显示屏显示画面播放速度快以此节约时间，避免后续聋哑人等待时间过长，所述使用者残疾状况分析单元用于检测使用者是听力故障还是语言故障，亦或是两者均出现故障，所述音影分拆单元用于根据使用者的残疾分析报告分时间段启用语音功能和影像功能以减少机器人电池不必要的消耗。

2.根据权利要求1所述的一种基于多协议的语言和图像理解系统，其特征在于：使用者肢体移动速度检测流程：

机器人在公众区域运行，使用者需要机器人帮助则站立在机器人正面即机器人立即停止运行，检测当前使用者，扫描得出当前使用者的身高和人体形态，计算得出人体距离机器人显示屏的水平距离记为L_水平，计算得出人体距离机器人显示屏最近点到人体手部的距离记为L_垂直，继而通过勾股定理计算得出人体手部到机器人显示屏的距离为L_手；

机器人的有效扫描距离为L_有效距离，若是L_水平大于L_有效距离则机器人发出语音播报提醒使用者靠近，若是L_水平小于等于L_有效距离则机器人计算得出使用者的肢体移动速度V_手，V_手＝L_手/T_接触时间，式中，T_接触时间为机器人停止运行到使用者肢体接触机器人显示屏的时间，设定额定使用者移动速度为V_额，将V_额分为V1-V6六个层级，V1表示使用者的肢体移动速度最慢，V6表示使用者肢体移动速度最快，将V_手与V_额进行比较判定得出相应的语音播报速度层级和影像播放速度层级，设定语音播报速度层级为A1-A6，A1表示语音播报速度最慢，A6表示语音播报速度最快，设定影像播放速度层级B1-B6，B1表示影像播放速度最慢，B6表示影响播放速度最快，达到根据人体肢体移动速度判定信息接受速度的效果，在有效传递信息的同时做到个人服务定制化，使得使用者求助时更加舒服。

3.根据权利要求2所述的一种基于多协议的语言和图像理解系统，其特征在于：判定聋哑人残疾程度流程：

设定单一听力障碍的使用者为一级残疾，记为c1人员，设定单一语言障碍的使用者为二级残疾，记为c2人员，设定听力和语言均障碍的使用者为三级残疾，记为c3人员，机器人显示屏上显示，本机器人可接受语音服务，若是机器人3秒内无法接受到使用者的信息则自动判定使用者为语言障碍者，同时机器人内发出语音播报，可进行手语操作，点击显示屏以确定，若是机器人3秒内无法接受到使用者的信息则自动判定使用者为听力障碍者，上述判定流程为同时进行，以3秒时间结束判定流程，分析出结果，若是使用者可说话则机器人接受语音信息，音影分拆单元此时驱动影像播放功能和语音播放功能，使用者能从影像播放中得出有效求助信息，同时判定使用者的语言组织是否流畅，若是流畅度不达标则提醒使用者使用手语，若是流畅度达标则无需提醒，若是使用者不能进行说话，听力尚可则音影分拆单元此时只驱动影像播放功能和语音播放功能，若是使用者既不能说话听力也有障碍则音影分拆单元此时只驱动影像播放功能，立即执行手语服务功能。

4.根据权利要求3所述的一种基于多协议的语言和图像理解系统，其特征在于：所述影像收集模块包括有手势识别单元、周边环境干扰摒除单元和抖动幅度消除单元，所述手势识别单元用于监测使用者的手势变化以识别使用者的用意，所述周边环境干扰摒除单元用于将机器人周边的杂音和另类动态行为遮蔽，增加使用者与机器人之间的交流流畅度，所述抖动幅度消除单元用于消除手势变化过程中的轻微抖动，增加手语的精准度。