[发明专利]一种具有认知能力的智能交互手套

说明书

本发明提出了一种具有认知能力的智能交互手套，包括多模态感知模块、多模态认知模块和多模态交互模块；多模态感知模块用于对获取的传感器数据和语音信息进行双通道的多模态融合；多模态认知模块对多模态融合后，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知、采用压力传感器对用户抓取物体的压力感知；以及测量距离目标物体的长度的距离、识别出用户所抓握物体的具体信息、对用户操作物体和操作行为进行识别、并且可以使手套获取正确的弯曲度数据、给予用户振动反馈。通过本发明，采用虚实融合的交互方式增加了学生的实验操作感，使学生能够对实验过程与现象进行更好的理解与记忆。

技术领域

本发明属于智能手套的技术领域，特别涉及一种具有认知能力的智能交互手套。

背景技术

化学作为一门重要的学科，在中学教学中一直被老师重视。目前，中学实验教学中存在以下问题：(1)在观察实验现象时往往以看录像为主，一些重要的实验现象往往演示不清晰；(2)在国内经济不发达地区，中学实验室的实验器材缺乏，无法支撑学生进行实验；(3)有些实验反应剧烈，具有一定的危险性，在反应过程中容易伤害学生；(4)目前市场上有许多智能教学软件，学生可以通过键盘鼠标的输入进行实验，但是这种实验方式没有真实的操作感，实验现象以动画呈现为主，学生在使用时将更多的注意力放到如何使用软件上，很少关注如何正确地进行实验。由于上述问题的存在，学生对于一些实验现象的记忆，大部分通过死记硬背的方式，很少能通过亲身操作进行理解性的记忆。

在人机交互领域中，传统的键盘与鼠标输入越来越不适用于自然交互场景，智能数据手套的出现为人机交互提供了一种更加自然的交互工具。与基于视觉的交互方法相比，使用智能手套的人机交互不受摄像头视野区域约束，不被空间所限制且具有反应灵敏，实时性好，精度高，用户沉浸感强的优点。国内许多学者都进行了数据手套方向的研究。

Priyanka Lokhande等人针对聋哑手语识别设计了一款数据手套，该手套使用柔性传感器和3轴加速度计将手势转换为合成的文本和声音格式，而无需任何特殊的手语翻译；Bin Fang等人使用18个惯性和磁性测量单元设计了一款用于机器人操纵的新型数据手套，该手套可以同时从手臂和手部获取人体运动并且映射到机器人手臂系统中，使用户能够使用自然和直观的方式远程操作机器人；Zhou M等人设计了一种基于触觉机构的数据手套，该手套主要应用于残疾人康复场景，该手套的系统能够收集健康双手的运动的力量信息，并以回放动作的方式帮助手部残疾用户完成这些动作；Quan Liu等人针对手部残疾人群设计了一款用于手部康复的数据手套，该手套使用了惯性和磁测量单元的传感器布局策略，并且提出了一种多传感器卡尔曼数据融合算法进行手部运动的精确重建，使用开发的数据手套对健康受试者进行手部运动捕获实验，可以完全恢复使用者的手部动作，并且可以以85％的准确度识别手势；Pei-Chi Hsiao等人为了评估患者受伤手的恢复状态，设计了一种嵌入9轴惯性传感器和力敏电阻的数据手套，能够输出精准可靠的角度和力数据，可以实时跟踪手部运动，为医生提供评估用户康复程度有用的参数；Yunhao Ge等人设计了一种新型的嵌入式数据手套，采用多模态融合的方法和CNN预测模型去判断手部运动的意图并且能够在手势运动结束前预测手势最终的准确动作；RyosukeTakad等人设计了一种使用导电纤维编织手套作为传感器的数据手套，该数据手套无需额外的传感器，解决了传统数据手套重量较大，不可拉伸，昂贵且不可清洗的问题，并且使用该手套能够通过导电纤维的电特性估计用户手型，并且能够通过获取手套所抓起标签不同频率信号并进行信号分析以检测不同标签的差异。

发明内容

本发明提出了一种具有认知能力的智能交互手套，智能交互手套适用于中学实验场景，用户佩戴智能手套后，能够与手套进行对话，手套可以从用户的语音信息中推断出用户的真正意图，并对用户的错误动作进行提示，使用户在探索中独立完成化学实验，通过虚实融合的交互方式增加了学生的实验操作感，使学生能够对实验过程与现象进行更好的理解与记忆。

为了实现上述目的，本发明提出一种具有认知能力的智能交互手套，包括多模态感知模块、多模态认知模块和多模态交互模块；