[发明专利]一种智能听障人士与健全人进行人机交互的系统及其工作方法

权利要求书

1.一种智能听障人士与健全人进行人机交互的方法，其特征在于它包括两种模式，即听障人士与健全人进行交流时的模式A和健全人与听障人士进行交流时的模式B；其中，所述模式A作为听障人士与健全人交流方式，听障人士为表述者，健全人为倾听者；所述模式B作为健全人与听障人士交流方式，健全人为表述者，听障人士为倾听者；

所述模式A包括以下步骤：

(A-1)听障人士穿戴数据采集设备单元比划手势，将该手势数据作为神经网络的训练集以构建BP神经网络分类模型；由安装在听障人士手指的弯曲传感器采集听障人士手指的弯曲程度信号，即模拟电压量，发送给控制器模块，与手背和前臂的姿态传感器通过UART进行串口通讯得到的3轴欧拉角数据一起传输给云端即手势数据信号，分别如式1-1和式1-2所示：

其中，V_our是弯曲传感器分到的电压量，V_in是控制器模块的5v输出电压，R₁是弯曲传感器的阻值，R₂是与R₁并联的电阻；a₀为弯曲传感器在控制器模块的模拟口输出的模拟电压量，当弯曲传感器的弯曲角度变大，弯曲传感器的阻值将变小，弯曲传感器所分到的模拟电压量则减小，而a₀也会变小；

(A-2)将(A-1)获取到的能够描述听障人士手语动作的手势数据信号通过无线网络传输到云端服务器；

(A-3)云端服务器利用步骤(A-1)获得的手势数据信号以及该信号所对应的手势含义作为训练集数据并进行训练，从而得到BP神经网络分类模型；以手势数据信号作为BP神经网络分类模型的输入，输出该手势数据信号所对应的手势含义，不断重复该步骤，完成对BP神经网络分类模型的训练；神经网络的训练目标是使网络的输出值能够尽可能接近真实值，所以就可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差值来对每一层的权重矩阵进行调整更新：假如网络的预测值偏高，就调整权重让它预测低一些，假如网络的预测值偏低，就调整权重让它预测高一些，通过不断的调整，直至能够预测出目标值；

(A-4)听障人士戴上数据采集设备单元比划手势，实时采集手势数据信号；将得到的手势数据信号输入至步骤(A-3)训练好的BP神经网络分类模型，作为其输入信号，由此得到的识别结果即为手势数据信号所对应的手势含义；

(A-6)由云端BP神经网络模块将手势数据信号所对应的手势含义通过无线网络传输到健全人的手机上，此时，健全人的手机会发出与听障人士的手势相对应的语音，完成听障人士与健全人的沟通；

所述模式B包括以下步骤：

(B-1)由手机对健全人发出的语音进行识别，并将识别结果对应的听障人士双手的手势数据信号通过无线网络上传到云端服务器；

所述步骤(B-1)中的语音识别功能是直接调用百度语音翻译平台开放的SDK来实现；

所述步骤(B-1)中对应的听障人士双手的手势数据信号是与语音相符合的人体22位数据，其中，前11位数据的前5位代表人体模型右手手指的弯曲角度，后6位分别是人体模型右手腕关节骨骼和右手肘关节骨骼的x、y、z轴空间角度，分别代表云端unity模块中人体模型腕关节骨骼和肘关节骨骼空间角度，它们的角度不同会导致云端unity模块中人体模型的手指手掌和前臂的位置发生变化，后11位数据的前5位代表人体模型左手手指的弯曲角度，后6位分别是人体模型左手腕关节骨骼和右手肘关节骨骼的x、y、z轴空间角度；这22位数据在云端unity模块接收到以后，可以控制云端unity模块中的人体模型做出对应动作；

(B-2)在云端服务器中，根据步骤(B-1)得到的手势数据信号，由云端unity模块接收到此信号，在云端unity模块中添加C#脚本来控制云端unity模块中的人体模型做出与语音相对应的手势动画，即手势数据信号传到云端unity模块中，C#脚本直接将手势数据信号控制人体模型动作；

(B-3)将步骤(B-2)中的到的手势动画通过无线网络由云端服务器传送到听障人士的手机上，使听障人士能够根据看到的手势动画实现与健全人的交流。