[发明专利]一种基于机器视觉注意力机制的静态手势识别方法

说明书

本发明公开了一种基于机器视觉注意力机制的静态手势识别方法，包括：采用RGB摄像头采集多类别的静态手势图像；再获取手势图片并进行保存，再划分成训练集、验证集和测试集；将手势图片由RGB格式转成YUV格式；以MobileNetV2网络作为网络框架，并加入注意力机制模块，并以类别分类损失函数构建卷积神经分类网络；将训练集输入卷积神经分类网络中进行多次网络训练，待训练完成后将训练模型加载到卷积神经分类网络中，直接采用RGB摄像头实时采集静态手势图像，并将手势图片输入训练模型中进行识别，概率分数最高对应的那个类别即为识别到的手势类别。该方法不额外增加硬件，能大大节省计算开销和提到手势识别率，降低误识率，从而提升用户座舱手势操控功能体验。

技术领域

本发明属于汽车座舱交互技术领域，特别涉及一种基于机器视觉注意力机制的静态手势识别方法。

背景技术

近年来，随着计算机视觉和机器学习等相关科学的发展，人机交互技术也日趋成熟，在各个领域均有应用，特别地，在汽车智能座舱交互领域应用广泛。传统的座舱交互方式都是基于物理按键，慢慢发展到车机端的触屏操控，再后来发展到语音和手势交互控制，其中，手势识别因其自然且符合用户操控逻辑，能给用户带来无感交互体验的优势，能够很好的弥补语音操控不便和尴尬的缺点，使得交互方式愈发便捷和智能。因此，提高手势识别率，准确判断出用户手势意图，对提高用户智能操控体验尤为重要。

得益于计算机视觉和机器学习，特别是深度学习中卷积神经网络等相关科学的快速发展，手势识别领域研究成果较为成熟，运用在智能家居、智能娱乐等设备的场景中现已常见，在汽车智能座舱领域，基于手势识别的交互技术也得到较早应用。但因为各种端侧设备的性能不像服务器端那样强悍，计算力非常有限，导致手势识别的准确率还是相对较低。

中国专利201711102008.9公开了一种基于计算机视觉的动态手势识别方法，该专利提出一种端到端的动态手势识别方法，采集手势图像后，对人工标注的真实数据框进行聚类，以改进后的GoogLeNet网络作为网络框架，构建端到端的可同时预测目标手势的位置、大小及类别的卷积神经网络并进行训练，此种方法将手部检测和分类放在一个网络里进行预测，从而减少计算开销达到端侧设备算力要求，但因为实际运用场景往往非常复杂，手势复杂度较高、环境干扰较强（如光线变换、人为干扰、遮挡等）等原因，导致识别率不高。

中国专利202110186152.5公开了一种基于Kinect传感器静态手势识别方法，该方法提出利用Kinect传感器获得静态手势深度图像信息，用深度中值滤波将手部深度图像进行预处理，并采用灰度直方图算法进行手势分割得到手部区域图像，然后对分割得到的手部区域图像提取HOG特征，计算HOG特征与标准模板的加权欧式距离进行分类识别。此方法依赖额外的手势识别传感器，增加成本，消费者接受意愿不强，很难商用。再者单纯通过与标准模板的距离计算进行分类识别，应对不了实际使用时车内的复杂场景，造成误识别和漏识别，影响用户体验。

发明内容

针对现有技术存在的上述不足，本发明的目的就在于提供一种基于机器视觉注意力机制的静态手势识别方法，该方法不额外增加硬件，能大大节省计算开销和提高手势识别率，降低误识率，从而提升用户座舱手势操控功能体验。

本发明的技术方案是这样实现的：

一种基于机器视觉注意力机制的静态手势识别方法，具体包括以下步骤：

（1）采用RGB摄像头采集多类别的静态手势图像；

（2）将静态手势图像中手势区域检测出来后进行裁剪得到手势图片，再进行保存，并将所有类别的手势图片划分成训练集、验证集和测试集；

（3）将步骤（2）得到的手势图片由RGB格式转成YUV格式，使得训练集、验证集和测试集中的手势图片均为YUV格式；

（4）以MobileNetV2网络作为网络框架，并加入注意力机制模块，并以类别分类损失函数构建卷积神经分类网络；