[发明专利]一种具有认知能力的智能交互手套

权利要求书

1.一种具有认知能力的智能交互手套，其特征在于，包括多模态感知模块、多模态认知模块和多模态交互模块；

所述多模态感知模块用于获取传感器模块获取的传感器数据以及语音模块采集的与用户沟通的语音信息，对传感器数据和语音信息进行双通道的多模态融合；

所述多模态认知模块用于将对传感器数据和语音信息进行多模态融合后，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知、采用压力传感器对用户抓取物体的压力感知；并且测量距离目标物体的长度的距离感知、识别出用户所抓握的物体的具体信息、通过智能容错处理算法，使手套获取正确的弯曲度数据、通过语音对用户操作物体和操作行为进行识别以及给予用户反馈；

所述多模态交互模块用于检测用户操作动作的正误以及抓起的目标物体的正误，同时通过所述语音信息推断用户的意图以及对用户的操作做出相应提示；

所述传感器模块包括姿态传感器、弯曲度传感器和压力传感器；所述姿态传感器设置在手套本体手背上；所述弯曲度传感器设置在所述手套本体手指的背面，且所述弯曲度传感器贴合在所述手套本体手指的背面；所述压力传感器设置在所述手套本体的指尖；所述手套本体的手心处还设置红外线测距仪、RFID读写器、振动马达模块、摄像头和声音传感器；所述手套本体设置语音输入输出设备 ；

所述姿态传感器用于获取手的三维数据，配合unity在场景中显示手掌的姿态；所述弯曲度传感器用于获取手指的弯曲状态；所述压力传感器用于感知手指压力，感知用户是否成功抓取物体；所述红外线测距仪用于测量距离目标物体的长度；所述RFID读写器用于识别用户所抓取的物体的信息；所述振动马达模块用于当用户抓取物体时给予用户振动反馈；所述摄像头用于读取目标物体上的条形码；所述语音传感器用于对用户语音进行设备；所述语音输入输出设备用于手套与用户进行语音交互；

对传感器数据和语音信息进行双通道的多模态融合的方法为：

S1：将用户行为库实验步骤表中信息提出，形成实验操作集合D；

S2：在多模态感知模块获取传感器数据和语音信息后，对所述传感器数据和语音信息进行信息预处理，提取用户的行为特征action；并且设置意图专家知识库；所述语音信息进行预处理后得到语音分析后的动作集合X与操作物体集合G，N＝X×G＝{(x,y)|x∈X∧y∈G}，所述N为用于意图集合；所述意图专家知识库中设置多模态意图与多模态行为之间的充分必要条件；

S3：对D与N取交集进行用户意图与行为匹配，即C＝D∩N，若||C||为0，则用户意图与当前实验步骤不匹配；若||C||为1，则用户意图与当前实验步骤匹配，得到用户准确意图。

2.根据权利要求1所述的一种具有认知能力的智能交互手套，其特征在于，采用姿态传感器和弯曲度传感器相配合获取用户手部姿态对用户行为感知的方法为：姿态传感器通过串口与PC端相连，通过姿态传感器输出的四元数数据进行实时姿态计算配合弯曲度传感器将用户手部姿态信息呈现到unity场景中；其中姿态传感器四元数数据为q＝[q₀,q₁,q₂,q₃]，设定θ，α分别为虚拟手绕z轴，y轴，x轴的旋转角度；其中计算θ，α的公式为：

将计算出的θ，α赋值给虚拟手绕三轴的旋转角度；

当手部翻转时，需要在计算手部分别在x轴、y轴和z轴上的位移前，滤除重力加速度在x轴、y轴和z轴上的分量；其中a_x1，a_y1，a_z1分别为重力加速度在x轴、y轴和z轴上的分量；获取四元数数据为q＝[q₀,q₁,q₂,q₃]；

将a_x1，a_y1，a_z1分别减去g_x，g_y，g_z，得到实际加速度a_x，a_y，a_z；

对实际加速度进行微积分计算S_i＝∫(∫(a_i)dt)dt,所述S_i为用户手部轨迹；

对S_i进行按比例缩小，得到用户虚拟手在x轴、y轴和z轴上的位移。