[发明专利]一种具有认知能力的智能交互手套

摘要

本发明提出了一种具有认知能力的智能交互手套，包括多模态感知模块、多模态认知模块和多模态交互模块；多模态感知模块用于对获取的传感器数据和语音信息进行双通道的多模态融合；多模态认知模块对多模态融合后，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知、采用压力传感器对用户抓取物体的压力感知；以及测量距离目标物体的长度的距离、识别出用户所抓握物体的具体信息、对用户操作物体和操作行为进行识别、并且可以使手套获取正确的弯曲度数据、给予用户振动反馈。通过本发明，采用虚实融合的交互方式增加了学生的实验操作感，使学生能够对实验过程与现象进行更好的理解与记忆。

主权项

1.一种具有认知能力的智能交互手套，其特征在于，包括多模态感知模块、多模态认知模块和多模态交互模块；所述多模态感知模块用于获取传感器模块获取的传感器数据以及语音模块采集的与用户沟通的语音信息，对传感器数据和语音信息进行双通道的多模态融合；所述多模态认知模块用于将对传感器数据和语音信息进行多模态融合后，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知、采用压力传感器对用户抓取物体的压力感知；并且测量距离目标物体的长度的距离感知、识别出用户所抓握的物体的具体信息、通过智能容错处理算法，使手套获取正确的弯曲度数据、通过语音对用户操作物体和操作行为进行识别以及给予用户反馈；所述多模态交互模块用于检测用户操作动作的正误以及抓起的目标物体的正误，同时通过所述语音信息推断用户的意图以及对用户的操作做出相应提示。