[发明专利]一种基于改进SSD的轻量化手势实时检测方法

说明书

本发明公开了一种基于改进SSD的轻量化手势实时检测方法，该检测方法以SSD为基础网络，包括使用MobileNet v2作为模型主干特征提取网络，减小模型的参数量和计算复杂度；设计INA多尺度卷积模块，并应用在其中三个预测特征层，通过连接不同尺寸的卷积核，增加网络对不同尺度特征的适应性；采用K‑means++聚类算法自适应生成适合手部的候选框，对手部进行准确定位来提高模型的检测精度；在制作的手势数据集上对改进后的SSD网络结构进行训练，得到训练好的手势检测模型进行手势检测。应用本发明，可以有效解决手部检测模型由于模型复杂、计算量大难以应用于移动端的问题，并且在减小模型大小和提高检测速度的同时保证了检测精度，适合人机交互下的实时手部检测。

技术领域

本发明涉及人机交互和手势识别技术领域，具体为一种基于改进SSD的轻量化手势实时检测方法。

背景技术

人机交互是指用户与手机、电脑或机器人等进行的一种互动交流。人机交互的方式可以极大的提升用户日常学习、生活中的质量以及提升生活幸福感。目前人与计算机的交互方式正朝着更自然、更普遍的方向发展，由传统专用的输入设备键盘、鼠标和操纵杆发送指令进行交互，到更自然的语音和手势等交互方式，人机交互方式从过去的以计算机为中心向以用户为中心变革。人手在所有身体部位中具备了极高的信息表达能力，因此在人机交互中扮演了非常重要的角色。手部检测是将手部区域与背景分离的过程，快速、可靠的手部检测人机交互任务的前提与保障。而在现实世界的应用中，可靠的手部检测仍然存在许多挑战，如杂乱的背景、不受限制的环境因素以及有限的计算资源。因此，设计一种能够在有限计算资源下保证检测精度的同时实现实时检测的手部检测系统具有重要意义。

目前，主流的手部检测技术中，相比较而言，基于CNN的目标检测算法应用最为广泛，这是由于卷积神经网络对视觉特征的学习符合生物的自然视觉认知机制，卷积神经网络通过卷积和池化操作构建一个从简单到复杂的金字塔状的学习过程，一般会从比较小的细节入手，然后是更大更加复杂的区域，再把这些复杂的区域组成更加复杂的区域，通过提取细粒度的低级特征和高级语义特征能达到很好的检测效果。基于CNN的目标检测算法又可分为两类，一类是以R-CNN、Faster R-CNN及Mask R-CNN的两阶段区域目标检测算法，此类算法通常检测精度较高，但检测速度慢，无法实现手部的实时检测。因此，出现了以SDD(Single Shot multibox Detector)及YOLO(You only Look Once)系列为代表的一阶段回归目标检测算法，这些算法把目标检测问题转化为回归问题，很大程度上加快了检测速度。然而，以上方法由于网络模型复杂，参数量和计算量庞大难以实现在移动端等计算资源差的设备中做到实时的手部检测。此外，现有的大多数手部检测系统仍然采用传统目标检测算法，此类算法存在尺度变化问题，当不同尺度的手势出现时存在漏检问题，稳定性和鲁棒性有待提高。

发明内容

本发明的目的在于，针对现有手势检测方法存在的上述技术问题，提供一种检测精度高、稳定性和鲁棒性好的基于改进SSD的轻量化手势实时检测方法，实现人机交互下的实时手部检测。

为实现其目的，本发明采用了如下技术方案：以SSD为基础结构，首先将轻量化网络MobileNet v2作为模型主干特征提取网络，然后设计INA结构的卷积模块，并应用在其中三个预测特征层，通过连接不同尺寸的卷积核，增加不同分辨率下的特征利用率；最后采用K-means++聚类算法自适应生成适合手部的候选框，对手部进行准确定位。具体包括以下步骤：

步骤一、利用普通RGB相机采集手势图像，利用所述手势图像制备带有标记信息的手势数据集，对制备的手势数据集通过翻转、裁剪以及高斯平滑模糊等进行数据增强。