[发明专利]一种轻量化设计的动态手势识别神经网络模型

权利要求书

1.一种轻量化设计的动态手势识别神经网络模型，其特征在于，其整体结构及步骤如下：

该动态手势识别神经网络模型是在卷积神经网络模型ConvNeXt模型基础上改进的轻量化卷积神经网络模型，命名为LW-ConvNeXt神经网络，新网络模型的大小仅为6.76M；其输入为一段手势视频，其输入数据为五维数据N×C×T×H×W，分别为批量数、通道数、深度(帧数)、高度、宽度；首先进行数据预处理，使用三帧差分法对视频进行处理，处理完后的连续帧分成n段，每段取m帧，加上开头与结尾2帧，共同组成一组输入数据，因此一组数据为(n*m+2)帧，并对每帧图像进行像素归一化处理；处理完之后输入LW-ConvNeXt神经网络，该神经网络结构特征如下：首先进入下采样stem模块，对输入特征尺寸进行调整，增加通道数，减少通道尺寸同时提取特征；然后以串联的形式进入四个阶段，每个阶段由一个下采样模块和若干个轻量化特征提取LW-ConvNeXt模块构成，四个阶段的轻量化特征提取LW-ConvNeXt模块的数量比例为3：3：9：3；在四个阶段之间穿插有注意力机制模块；通过该四个阶段以后，将所得特征在T×H×W三个维度上进行平均池化，得到维度为N×C的数据，最后将数据输入全连接层进行分类，得出分类结果，即完成手势识别过程。

2.根据权利要求1所述的动态手势识别神经网络模型中的轻量化特征提取LW-ConvNeXt模块，其特征在于：在特征提取ConvNeXt模块的基础上，为降低模型参数量，把卷积核大小由7改为3；使用深度可分离卷积代替一般的三维卷积；去掉逆瓶颈层；整体使用残差结构，经过逐通道卷积与逐点卷积的特征与输入做加法运算；然后进行数据归一化处理，并由激活函数进行激活，最后经过通道混洗，输出特征数据；该模块是LW-ConvNeXt神经网络的基础模块；输出与输入的通道数以及特征图大小不发生改变，用于特征的提取。

3.根据权利要求1所述的动态手势识别模型中的注意力机制模块，其特征在于：注意力模块分为运动注意力机制Diff模块和通道注意力机制ECA模块两部分，以串联的方式相连；特征数据首先进入运动注意力机制Diff模块，对相邻两帧图像的特征做差分，完成差分后得到的特征图与第一张特征图在时序维度上进行拼接，拼接完成后与输入特征维度相同；将差分特征输入卷积核大小为1×3×3的三维组卷积模块进行卷积，分组数为输入特征通道数；特征提取完成后，在H×W两个维度上进行全局最大池化，最后通过3×1×1的三维卷积模块进行帧间卷积，来进行通道间的数据交流；运动注意力机制Diff模块的输出数据与其输入数据进行点乘，结果输入通道注意力机制ECA模块；然后在T×H×W维度进行全局平均池化，得到N×C×1×1×1维度的特征数据，重新塑造特征维度转换成N×1×C维度后输入一维卷积模块进行卷积，得到注意力特征，与输入特征进行点乘后输出，完成注意力机制。

4.根据权利要求1所述的动态手势识别模型中的下采样模块，其特征在于：本发明使用卷积神经网络的卷积核来代替一般的池化层，因此池化层也能够通过训练来改变参数；通过设置不同的卷积核大小以及不同的步长能设置采样后不同的数据维度。