[发明专利]一种轻量化设计的动态手势识别神经网络模型

说明书

本发明涉及人工智能研究和手势识别领域，一种轻量化设计的动态手势识别神经网络模型。其中，最重要的特征组成部分是注意力机制模块与轻量化特征提取LW‑ConvNeXt模块。注意力机制模块主要包含运动注意力机制Diff模块与通道注意力机制ECA模块；轻量化特征提取LW‑ConvNeXt模块构成了本神经网络的基本模块，是对特征提取ConvNeXt模块进行轻量化设计后得到的新模块。

技术领域

本发明涉及人工智能和手势识别领域，具体是一种轻量化设计的动态手势识别神经网络模型。

背景技术

随着人工智能与深度学习的发展，以及近些年数组孪生的兴起，手势识别、人机交互成为其中的一个研究热点；目前大多数数字孪生系统采用智能眼镜、手柄等交互设备进行交互，而基于视觉的手势交互能够使用户摆脱输入设备束缚，具有附着感低、侵入性弱以及交互体验更自然等优点；手势识别可以分为静态手势识别与动态手势识别，静态手势识别领域已经相对比较成熟，而动态手势识别由于其参数量更大、结构更加复杂、维度更高等问题存在，还有很大的发展空间。

发明内容

为了解决现有模型的不足之处，提出一种高精度、轻量化、能够满足实时性要求的动态手势识别模型。

为了达到上述目的，本发明提供了一种基于改进的注意力机制与ConvNeXt模块的手势识别神经网络模型，具体设计方案如下：

本模型的具体结构如下：输入为待识别的视频，经过预处理之后，输入下采样Stem模块，然后从整体结构上分为四个阶段，每个阶段有一个下采样模块以及若干个轻量化特征提取模块LW-ConvNeXt模块构成；各个阶段之间穿插注意力机制模块；最后通过全局平均池化以及全连接层完成手势识别。

输入数据的预处理过程如下：相邻帧之间由于相似程度高，有着大量的冗余特征，使用三帧差分法对视频进行处理，删除高于相似阈值的帧，使帧之间的动态特征更加明显，图像更加清晰；将处理完后的连续帧分成n段，每段取m帧，加上开头与结尾2帧，共同组成一组输入数据，因此一组数据为(n*m+2)帧。并对每帧图像进行像素归一化处理。

在二维注意力机制中，一般为空间-通道注意力机制，一方面突出图像空间上的特征，一方面突出不同通道上的特征，而在三维卷积中，简单的空间-通道注意力机制不能对时序上的特征进行很好的突出表达，而时序上的运动特征往往是视频中最重要的；因此设计了一种适用于三维视频输入的时间-空间混合注意力机制模块。

注意力机制模块具体设计如下：分为运动注意力机制Diff模块和通道注意力机制ECA模块；首先是运动注意力机制Diff模块；通过帧间差分的方式获得相邻帧之间的运动特征，对差分完重新拼接的数据通过卷积来对运动特征进行提取，突出数据中的运动特征表达；然后再通过最大值池化来调整维度，最后通过通道注意力机制ECA模块进行通道间注意力的特征提取，共同组成了本注意力机制模块；具体结构如图2所示。

卷积神经网络模型ConvNeXt是一个向transformer神经网络模型靠拢的纯卷积神经网络模型，提供了大量的训练技巧来提高模型的精确度；轻量化神经网络模型Shufflev2是一种典型的轻量化卷积神经网络模型。结合ConvNeXt和Shuffle v2两个神经网络模型的优点，对ConvNeXt神经网络进行轻量化改造，设计了轻量化ConvNeXt模块作为本网络的基本模块；命名为LW-ConvNeXt模块。

轻量化特征提取LW-ConvNeXt模块的具体设计如下：具体结构如图3所示，在特征提取ConvNeXt模块的基础上，为降低模型参数量，把卷积核大小从7改为3；使用深度可分离卷积代替一般的三维卷积；去掉逆瓶颈层；使用残差结构，经过逐通道卷积与逐逐点卷积的特征与输入做加法运算；然后进行数据归一化，并由激活函数进行激活，最后经过通道混洗，输出特征数据；该模块是LW-ConvNeXt神经网络的基础模块；输出与输入的通道数以及特征图大小不发生改变。

与现有技术相比，本发明的优点：