[发明专利]基于特征融合注意力模块和特征选择的手势图像分类方法

说明书

本发明公开了一种基于特征融合注意力模块和特征选择的手势图像分类方法。包括如下步骤：1对原始手势图像进行预处理；2将手势图像输入VGG16和ResNet50中，分别获得高阶和低阶特征张量；3将高阶与低阶特征张量同时输入特征融合注意力模块，特征注意力模块包括低阶特征增强模块、高阶特征增强模块和高低阶特征同步增强模块；4将融合后得到的特征张量输入SK‑Net模块中，得到特征选择后的特征张量；5将特征选择后的特征张量输入分类器中进行分类，得到手势图像的分类结果。本发明使用特征融合注意力模块分别对高阶特征和低阶特征进行增强与融合，得到精确描述手势的特征张量，最终通过特征选择实现对手势图像的精确识别。

技术领域

本发明属于手势图像分类方法，具体涉及一种基于特征融合注意力模块和特征选择的手势图像分类方法。

背景技术

手势识别被广泛应用于人机交互、增强现实、智能家居和辅助驾驶等领域，可以让人们使用一种更加直接、快捷的方式进行人机交互，因此，手势识别已经成为人机交互领域的一个热点研究方向。但是如何对种类繁多的手语表达进行准确分类还是一大难点。目前对手势识别的研究中，主要分为基于机器视觉的手势识别方法和基于深度学习的手势识别方法两大类。

基于机器视觉的手势识别方法通常涉及视觉处理过程的多个阶段，例如手工特征提取和分类算法。简单地说，手工特征提取方法被设计用来处理特定的任务，这使得它不足以处理横跨多个数据集的各种任务，并且常常获得不合格的泛化。并且，手工特征提取方法的有效性及其处理多个数据集的各种任务的能力很大程度上依赖所用的手工特征提取方法。因此，基于机器视觉的手势识别方法适应各种任务的能力本身就受到限制，因为在复杂环境中捕捉到的手势图像可能具有各种各样的条件。

基于机器视觉的手势特征提取繁琐、费时，可能会因为提取特征产生的误差而导致识别准确率低，且有容易受复杂背景下光照和背景的影响。目前主流的手势识别方法基于深度学习居多，但有着准确率不够高，且通过单一卷积神经网络提取的特征尺度单一，无法全面描述手势图像等缺点。

发明内容

针对传统手势图像分类方法提取的特征无法全面描述手势图像且准确率不高的问题，本发明提出了一种更加有效的手势图像特征提取与分类方法。本发明利用预训练的VGG16网络以及ResNet50网络的特征提取模块提取手势图像的高阶与低阶特征；将高低阶特征张量分别输入特征融合注意力模块中。对于低阶特征张量，分别增强图像边界特征和关键特征并进行组合，对于高阶特征，直接增强其特征信息；将增强后的高低阶特征张量组合，并与之前的低阶特征张量与高阶特征张量分别组合，显著其低阶与高阶特征，并将显著后的高低阶特征融合。本发明提出的方法使用注意力模块完成了对手势图像的高阶特征与低阶特征的增强，并实现增强后的高阶特征与低阶特征的融合，并增强了融合特征的主要特征，能够实现更加精确的手势分类。

本发明的技术方案包括如下步骤：

1)使用ASL开源手语数据集中的手势图像作为原始手势图像，并获取原始手势图像的类别标签，对原始手势图像进行尺寸归一化处理，将经过尺寸归一化处理后的手势图像分为训练集和数据集；

2)构建卷积神经网络，卷积神经网络包括高阶特征提取模块、低阶特征提取模块、特征融合注意力模块、SK-Net模块和Softmax分类器；

3)将步骤1)的训练集和数据集输入卷积神经网络进行训练；

3.1)高阶特征提取模型和低阶特征提取模块分别提取输入图像的高阶特征和低阶特征，获得高阶特征张量和低阶特征张量；

3.2)将高阶特征张量与低阶特征张量同时输入特征融合注意力模块中；特征融合注意力模块包括低阶特征增强模块、高阶特征增强模块和高低阶特征同步增强模块；

3.3)将高低阶特征融合后的特征张量输入到SK-Net模块中，得到特征选择后的特征张量；