[发明专利]一种基于轻量3D残差网络和TCN的多模态动态手势识别方法

权利要求书

1.一种基于轻量3D残差网络和TCN的多模态动态手势识别方法，其特征在于，包括以下步骤：

步骤1：根据原始数据集中手势视频的帧率，对每个手势视频进行采样，生成视频的帧率对应数量的图片，按照时间顺序排序保存图片,并使用窗口滑动法对采样生成的图片序列进行时间维度上的统一；

步骤2：使用步骤1中统一化的图片序列作为输入，对轻量的3D残差网络进行预训练，并以.h5的形式保存轻量的3D残差网络模型权重文件，权重文件保存了模型的结构、模型的权重、训练配置、优化器的状态，以便于从上次训练中断的地方开始；

步骤3：加载步骤2中的权重文件，以RGB-D图片序列的训练集和验证集为输入，使用轻量的3D残差网络学习视频中手势的短期时空特征；

步骤4：把步骤3输出的特征图输入到时间卷积网络，使用时间卷积网络编码动态手势的长期时空特征；

步骤5：使用注意力机制加权融合RGB和Depth分支网络的时空特征信息；

步骤6：使用全连接层对步骤5输出的特征向量进行分类，并通过Softmax把分类结果映射成手势类别的概率值；

所述步骤5：使用注意力机制加权融合RGB和Depth分支网络的时空特征信息，具体为：

Depth图像包含来自深度通道的运动信息和三维结构信息，并且对光照变化，衣服，肤色和其他外部因素不敏感，RGB数据和Depth数据的融合用于精确表示手势的特征，通过引入注意力机制提出了一个非线性的结合方式，该方式能够让网络在整个特征提取过程动态选择相应的信息，实现了加权融合RGB和Depth数据的策略，假设RGB分支的输出的特征图序列为S_rgb，Depth分支的输出特征图序列为S_depth，两者融合后的特征图序列为z，则两个分支加权求和如下：

其中α＝[α_rgb,α_depth]为融合系数，计算公式如下：

其中表示平均池化，F_fc、Conv、AvgPool分别表示全连接层、卷积层、平均池化，S_rgb、S_depth分别表示RGB分支的输出的特征图序列，Depth分支的输出特征图序列，W₀和W₁分别表示1*1*1的卷积权重和全连接层权重，β表示批标准化，δ表示ReLU激活函数。

2.根据权利要求1所述的一种基于轻量3D残差网络和TCN的多模态动态手势识别方法，其特征在于，所述步骤1：对原始数据集视频进行采样，按照时间顺序排序保存,并使用窗口滑动法对采样生成的图片序列进行时间维度上的统一，具体为：

根据视频的帧率，对数据集中每个手势视频进行采样，生成相应数量的图片序列，并按照时间顺序排序保存；为了保证输入数据具有相同的维度，使用窗口滑动法来设置每个手势视频的输入基准帧数，基准帧数值设置为32，对于32帧以上的视频，将删除两端不相关的图像，保留中间的关键帧，对于小于32帧的视频，以一定比例重复某些帧，该过程将循环执行，直到样本超过32帧，最后，将每帧随机裁剪为224×224，并将其大小调整为112×112像素。

3.根据权利要求2所述的一种基于轻量3D残差网络和TCN的多模态动态手势识别方法，其特征在于，所述步骤2：使用步骤1中统一化的图片序列作为输入，对轻量的3D残差网络进行预训练，并以.h5的形式保存轻量的3D残差网络模型权重文件，具体步骤为：

采用迁移学习的思想，使用Jester公开数据集对轻量3D残差网络进行预训练；预训练过程分为特征提取和特征分类两个部分，其特征提取部分为轻量3D残差网络，特征分类部分为全连接层及Softmax层，在预训练的过程中，对模型的权重以.h5的形式保存。