[发明专利]一种基于改进SSD的轻量化手势实时检测方法

权利要求书

1.一种基于改进SSD的轻量化手势实时检测方法，其特征在于，包括以下步骤：

步骤一：采集手势图像，利用所述手势图像制备带有标记信息的手势数据集，并对制备的手势数据集进行数据增强。

步骤二：采用MobileNet V2主干特征提取网络代替VGG16主干网络，得到使用MobileNet V2网络改进后的SSD网络结构；

步骤三：在使用MobileNet V2网络改进后的SSD网络结构的三个预测特征层中采用设计的INA多尺度模块进行特征提取和特征融合，获取不同尺度的特征图，同时融合不同大小的感受野，得到使用INA模块改进的SSD网络结构；

步骤四：在使用INA模块改进的SSD网络结构基础上引入K-means++聚类算法对手势数据集进行聚类，通过学习自动生成一组更加接近手势数据集分布的候选框，得到改进后的SSD网络结构；

步骤五：利用步骤一中所述手势数据集，对所述改进后的SSD网络结构进行训练，得到训练好的轻量化手势检测模型；

步骤六：将实时获取的手势图像或含有手势的视频输入到所述训练好的轻量化手部检测模型中进行手势检测。

2.如权利要求1所述的一种基于改进SSD的轻量化手势实时检测方法，其特征在于，步骤一中，所述制备带有标记信息的手势数据集，具体包括：

采用RGB相机采集手势图像；采用LabelImage软件对所述手势图像进行标注，得到手势数据集；对所述手势数据集通过翻转、裁剪以及高斯平滑模糊进行数据增强。

3.如权利要求1所述的一种基于改进SSD的轻量化手势实时检测方法，其特征在于，步骤二中，所述采用MobileNet V2主干特征提取网络代替VGG16主干网络，具体包括：

使用MobileNet V2进行特征提取，采用倒残差结构进行特征的升维，丰富特征数量，同时每个残差块的最后一个1x1的卷积中将Relu替换为线性激活函数。

4.如权利要求1所述的一种基于改进SSD的轻量化手势实时检测方法，其特征在于，步骤三中，所述三个预测特征层为Con8、Con9和Con10，所述INA多尺度模块是将上一层的特征图分别同时输入到三个不同尺度的分支进行处理，再将处理完得到的三个特征图的特征信息进行融合，最后得到输出特征图，又采用add操作实现特征融合。

5.如权利要求1所述的一种基于改进SSD的轻量化手势实时检测方法，其特征在于，步骤四中，所述引入K-means++聚类算法的过程，具体包括：

使用K-means++聚类获取候选框，通过重新聚类训练集，得到更符合手部分布的先验点，使用候选框与真实框交并比作为K-means++聚类算法中的距离度量，并设定初始化anchor数为5。

6.如权利要求1-5任一项所述的一种基于改进SSD的轻量化手势实时检测方法，其特征在于，所述手势检测过程，具体包括：

(1)将输入图像或视频划分成S×S的网格，每个网格预测B个检测框并且预测这些检测框的置信度，每张图片有S×S×B个检测框；

(2)每个检测框都有5个预测值(W，H，X，Y，Conf)；其中，X，Y代表检测框的中心点，W，H代表输入图像的尺寸，Conf代表检测框的置信度；

置信度的计算公式如下式(1)所示：

式(1)中，IOU代表预测框和真实框的交并比，如式(2)所示；

PR表示预测框的面积，GT表示真实框的面积；

(3)每个网格预测地物的条件概率为P_{r(cls|object)}，为已知网格中包含的目标；

(4)检测时，将条件概率和不同检测框置信度的预测值相乘，得到每个检测目标的置信度得分，这些置信得分包含了检测框中出现手部目标的概率以及检测框和手部目标的匹配程度；

(5)通过非极大值抑制过滤掉冗余的检测框，得到最终的手势检测结果。