[发明专利]一种基于MPE-YOLOv5的手势识别方法

说明书

一种基于MPE‑YOLOv5的手势识别方法，它属于计算机视觉领域。本发明解决了现有轻量化网络模型对小目标的检测精度低、分类错误率高的问题。本发明方法所采取的主要技术方案为：步骤一、采集手势图像，并基于采集的手势图像构建训练数据集；步骤二、搭建MPE‑YOLOv5网络，利用构建的训练数据集对MPE‑YOLOv5网络进行训练；步骤三、利用训练好的MPE‑YOLOv5网络对待检测的单帧视频图像进行检测，得到对待检测图像中的手势目标定位结果以及分类结果。本发明方法可以应用于手势识别。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于MPE-YOLOv5的手势识别方法。

背景技术

随着计算机视觉领域开始广泛运用卷积神经网络，使用深度学习来进行手势识别已经成为热门的研究趋势。与传统手势识别方法相比，基于深度学习的手势识别方法在复杂场景下有较好的鲁棒性和灵活性，且可以保证在较高的识别精度下，实现快速推理和分类识别。

虽然卷积神经网络模型的识别精度不断提高，但高精度的网络模型是以越来越深的网络深度、越来越庞大的网络参数量以及越来越臃肿复杂的网络结构作为代价的。在边缘终端设备上，由于硬件的限制、模型过于复杂、推理框架过于庞大等种种原因，无法直接在设备上进行部署。因此，如何充分利用有限的计算条件和环境，以及如何为此类设备设计特殊的网络模型仍然是现阶段需要解决的问题。

轻量化网络在很大程度上缓解了边缘设备由于没有强大硬件设施而造成的计算能力和内存读写能力差的问题。轻量化网络是对卷积层进行优化，很大程度上减少了内存的读写，降低了网络模型的参数和权重，并且也减少了卷积神经网络中间层的输出结果。但由于轻量化网络模型的参数量较少、提取的特征较少，导致针对小目标的检测精度降低、分类错误率高等问题。

发明内容

本发明的目的是为解决现有轻量化网络模型对小目标的检测精度低、分类错误率高的问题，而提出的一种基于MPE-YOLOv5的手势识别方法。

本发明为解决上述技术问题所采取的技术方案是：

一种基于MPE-YOLOv5的手势识别方法，所述方法具体包括以下步骤：

步骤一、采集手势图像，并基于采集的手势图像构建训练数据集；

步骤二、搭建MPE-YOLOv5网络，利用构建的训练数据集对MPE-YOLOv5网络进行训练；

所述MPE-YOLOv5网络的结构中包括Backbone、Neck和Head三个部分，其中：

Backbone部分包括CBH模块、Stage2单元、Stage3单元、Stage4单元以及Stage5单元；Stage2单元包括一个MobileNetv3模块和一个ECA注意力机制模块，Stage3单元包括两个MobileNetv3模块和一个ECA注意力机制模块，Stage4单元包括五个MobileNetv3模块和一个ECA注意力机制模块，Stage5单元包括三个MobileNetv3模块、一个SPPF模块以及一个ECA注意力机制模块；

Neck部分包括第一C3模块至第六C3模块、第一CBS模块至第六CBS模块、第一上采样层至第三上采样层；

Head部分包括第一卷积层至第四卷积层；

且MPE-YOLOv5网络中各部分之间的连接关系为：

将MPE-YOLOv5网络的输入作为CBH模块的输入，CBH模块的输出再依次经过Stage2单元、Stage3单元、Stage4单元以及Stage5单元；

将Stage5单元中ECA注意力机制模块的输出作为第五CBS模块的输入，第五CBS模块的输出再输入到第三上采样层，将Stage4单元中ECA注意力机制模块的输出与第三上采样层的输出进行拼接后，将拼接结果作为第五C3模块的输入；