[发明专利]一种智能听障人士与健全人进行人机交互的系统及其工作方法

说明书

本发明公开了一种智能听障人士与健全人进行人机交互的系统及其工作方法，包括数据采集设备单元、人机交互终端和人机交互网络单元，通过弯曲传感器与姿态传感器组成的数据采集设备对手部的数据用Arduino控制器进行数据的实时采集，并在云端进行BP神经网络算法学习及手势识别，再通过手机将手势对应的语音进行播报，完成听障人士与健全人的交互，还可通过手机对语音进行识别，将识别的结果无线传输到云端，当云端接收到识别的结果时，对结果进行处理在unity中控制unity中人物模型完成相对应的动画。此系统完成了听障人士与健全人的正常沟通交流，对于人机交互领域，具有非常强的实用性与可研究性。

(一)技术领域：

本发明属于人机交互技术领域，具体涉及一种智能听障人士与健全人进行人机交互的系统及其工作方法，特别适合用在听障人士与健全人之间进行正常沟通交流的应用场景。

(二)背景技术：

由于无法与健全人进行有效的沟通交流，听障人士在日常生活中会面临不同程度的歧视。听障人士作为社会的一份子，其他健全人员需要切实解决好听障人士与健全人的沟通问题，帮助听障人士能够积极乐观地融入社会。

目前听障人士用以与健全人交流的辅助设备效果均不甚理想：如电子人工喉，缺乏对发声时间与音调的精准控制；而基于视觉的手语翻译设备的使用效果受环境影响。因此研究一种轻便同时兼顾高效准确识别的人机交互设备有着广泛的实用价值。

随着物联网和移动互联网的发展，可穿戴设备完成了大型化到小型化的过渡，受到了社会的广泛关注。目前我国拥有庞大的听障人士群体，随着我国残疾人事业的发展，聋人参与社会的需求也在不断增强，但相应的手语翻译人才却十分稀少，这给聋人在学习、生活及工作等各个领域的沟通都造成了很多困难。据统计，目前我国听障人士至少有2057万。而我国手语行业发展缓慢，除少数师范类高等院校在特殊教育专业中开设手语课外，手语教育特别是社会培训力量薄弱。在文化、医疗、社会保障、体育、商业、社会服务等各个行业，手语翻译人员的缺乏，使得听障人士难以实现与外界的有效沟通。譬如，因为与医生沟通不畅，聋哑人时常不愿去医院看病；由于向民警问路很费力，聋哑人的出行困难也不少。所以研制一种智能听障人士与健全人进行人机交互的系统对于听障人士与正常人的正常沟通对听障人士群的影响不言而喻。

(三)发明内容：

本发明的目的在于提供一种智能听障人士与健全人进行人机交互的系统及其工作方法，它可以克服现有技术的不足，是一种结构简单且容易实现的人机交互系统及方法，解决听障人士与健全人之间的沟通交流问题。

本发明的技术方案：一种智能听障人士与健全人进行人机交互的系统，其特征在于它包括数据采集设备单元、人机交互终端和人机交互网络单元；其中，所述数据采集设备佩戴于听障人士的手上，用于采集听障人士的手势数据，并将手势数据上传到云端服务器；所述人机交互网络单元的输入端接收云端服务器中的手势数据，对其进行识别，其输出端与人机交互终端呈数据连接；所述人机交互终端接收人机交互网络单元的识别结果，并将该结果传递给健全人或听障人士；所述人机交互网络单元的输入端还能接受人机交互终端的数据，将健全人的交互信号上传到云端服务器，由人机交互网络单元生成可以使听障人士能够理解的信号，并再次传送给人机交互终端，使听障人士看到。

所述人机交互网络单元与人机交互终端之间依无线网络连接，常采用蜂窝移动通信(Cellular Mobile Communication)，蜂窝移动通信是采用蜂窝无线组网方式，在终端和网络设备之间通过无线通道连接起来，进而实现用户在活动中可相互通信，其主要特征是终端的移动性，并具有越区切换和跨本地网自动漫游功能，蜂窝移动通信业务是指经过由基站子系统和移动交换子系统等设备组成蜂窝移动通信网提供的话音、数据、视频图像等业务。