[发明专利]一种基于机器视觉注意力机制的静态手势识别方法

权利要求书

1.一种基于机器视觉注意力机制的静态手势识别方法，其特征在于，具体包括以下步骤：

（1）采用RGB摄像头采集多类别的静态手势图像；

（2）将静态手势图像中手势区域检测出来后进行裁剪得到手势图片，再进行保存，并将所有类别的手势图片划分成训练集、验证集和测试集；

（3）将步骤（2）得到的手势图片由RGB格式转成YUV格式，使得训练集、验证集和测试集中的手势图片均为YUV格式；

（4）以MobileNetV2网络作为网络框架，并加入注意力机制模块，并以类别分类损失函数构建卷积神经分类网络；

（5）将步骤（3）的训练集输入卷积神经分类网络中进行多次网络训练，每训练完一个epoch，就采用步骤（3）的验证集进行测试，保留准确率最高的那个权重，待训练完成后得到训练模型，用步骤（3）的测试集进行测试，若满足设定指标，则进入步骤（7），否则进入步骤（6）；

（6）重新采集未覆盖的场景和错误分类手势对应的静态手势图像，重复步骤（2）和步骤（3）添加到训练集中进行持续迭代训练，对应地，不断更新训练模型；

（7）将步骤（5）或步骤（6）中的训练模型加载到步骤（4）卷积神经分类网络中，直接采用RGB摄像头实时采集静态手势图像，并将静态手势图像中手势区域检测出来后进行裁剪得到手势图片，然后输入训练模型中进行识别，得到每个类别的概率分数，概率分数最高对应的那个类别即为识别到的手势类别。

2.根据权利要求1所述的一种基于机器视觉注意力机制的静态手势识别方法，其特征在于，步骤（1）中至少包括四个类别，其中一类别为干扰静态手势，剩余类别包括但不限于点赞、比心、胜利、剪刀、石头和布中的任意三种或多种静态手势。

3.根据权利要求2所述的一种基于机器视觉注意力机制的静态手势识别方法，其特征在于，步骤（1）中采集不同光照、不同角度场景下的静态手势图像。

4.根据权利要求1所述的一种基于机器视觉注意力机制的静态手势识别方法，其特征在于，步骤（2）和步骤（6）中先将静态手势图像中的手势区域向外扩大后再进行裁剪，以得到手势图片。

5.根据权利要求4所述的一种基于机器视觉注意力机制的静态手势识别方法，其特征在于，所述手势图片左上角的坐标为（x₁'，y₁'），右下角的坐标为（x₂'，y₂'），外扩方法为：

x₁'=max（0，x₁-（x₂-x₁）*0.1）；y₁'=max（0，y₁-（y₂-y₁）*0.1）

x₂'=min（w，x₂-（x₂-x₁）*0.1）；y₂'=min（h，y₂+（y₂-y₁）*0.1）

其中：w和h分别为手势图片的分辨率的宽和高；

x₁和y₁分别为手势区域左上角对应的横坐标和纵坐标；

x₂和y₂分别为手势区域右下角对应的横坐标和纵坐标。

6.根据权利要求1所述的一种基于机器视觉注意力机制的静态手势识别方法，其特征在于，RGB图片格式转换成YUV图片格式的方法为：

Y=0.257*R+0.504*G+0.098*B+16

U=-0.148*R-0.291*G+0.439*B+28

V=0.439*R-0.368*G-0.071*B+128

其中：R，G，B分别为RGB图片对应通道的像素值；

Y，U，V分别为YUV格式图片对应通道的像素值。