[发明专利]多模态融合的手势键盘输入方法、设备、系统及存储介质

摘要

本发明公开了一种多模态融合的手势键盘输入方法、设备、系统及存储介质，方法包括：获取用户按键的IMU传感器数据、肌电传感器数据、弯曲传感器数据；对用户手部区域拍摄，获得手部图像数据；将预处理后的4个数据输入至对应的分类器中进行特征提取、再进行决策融合，识别为对应的手势按键输入信号。设备包括：数据手套或头戴式设备；系统包括：数据手套和头戴式设备；存储介质包括：处理器和存储器。本发明在头戴式设备中实现手势与虚拟键盘字符的交互，字符图像实时显示，为人们的键盘输入呈现一个场景更加立体的、信息更加丰富的、环境更加自然亲切的交互界面。