[发明专利]一种基于动态手势识别的智能人机交互方法

摘要

本发明公开了一种基于动态手势识别的智能人机交互方法，属于人机交互技术领域。本发明针对目前基于手势的人机交互方案一般采用传统的机器学习算法，无法满足智慧家庭背景下嵌入式设备对实时性、鲁棒性的要求。本发明通过改进轻量化的目标检测网络，实现对手部区域的快速准确检测，在此基础上集成目标跟踪算法获取手部的运动轨迹并根据轨迹分类结果提供个性化的人机交互行为。本发明能够在嵌入式设备上实现对动态手势的实时识别，并对光照、肤色、背景等因素有极强的鲁棒性，是一种面向智慧家庭场景的智能人机交互解决方案。

主权项

1.一种基于动态手势识别的智能人机交互方法，其特征在于，包括下列步骤：步骤一、对彩色摄像头捕获的视频帧进行手部区域检测：通过卷积神经网络提取视频图像的低阶特征谱和高阶特征谱，并将低阶特征谱经池化操作后归一化为预设大小；将高阶特征谱经反卷积操作后也归一化为预设大小，归一化后的低阶特征谱与高阶特征谱的尺寸相同，然后对两者进行特征谱融合，得到融合特征谱；基于融合特征谱进行手部区域检测，得到初步目标检测框，并对其进行非极大值抑制操作以去除冗余检测框；具体抑制处理为：(1)将所有检测目标框根据分类置信度按从大到小的顺序排序；(2)选取置信度最高分所对应的检测框，记为框A并保留；(3)遍历所有非A框，去除其中与框A的交并比大于预设阈值的检测目标框；(4)对未处理的检测目标框重复步骤(2)～(3)，直到所有检测目标框均被处理，所述处理包括保留和删除；步骤二、对手部区域进行基于相关滤波的手势跟踪：步骤三、对手势轨迹进行分类：通过预设的分类网络，每隔固定帧数进行一次手势轨迹分类处理，且在将轨迹样本送入分类网络前，进行白边补全及大小归一化操作；步骤四：根据手势轨迹作出交互行为。