[发明专利]基于混合神经网络的手势动作识别互动系统及方法

权利要求书

1.基于3D CNN和RNN混合神经网络的投影手势动作识别方法，其特征在于，包括如下步骤：

步骤一，图像视频数据集采集

采用深度相机采集手部数据，创建数据集；

在模型输入时将RGB三通道的模型输入，转换为了RGB+HSV六通道的模型输入，HSV分别代表色调、饱和度、明度，其表达式如下：

max = max(R/255,G/255,B/255) （1）

min = min(R/255,G/255,B/255) （2）

（3）

（4）

V = max （5）

其中R、G、B为每帧图像的红绿蓝分量数值；

步骤二，采用三维卷积神经网络对手势动作数据集中的视频数据进行视频学习，输出图像特征；

其中，三维卷积神经网络进行如下操作：

三维卷积神经网络对视频进行帧抽样，每秒抽取7帧图像作为网络输入；其中每帧提取5个通道信息，gray、gradient-x、gradient-y这三个通道的信息直接对每帧分别操作获取，optflow-x、optflow-y两个通道的信息则需要利用两帧的信息提取；

以上一层的输出作为输入，对输入5个通道信息分别使用大小为7*7*3的3D卷积核进行卷积操作，这一层采用了两种不同的3D卷积核；

进行max pooling操作，降采样之后的特征maps数量保持不变；

对之前分的两组特征maps分别采用7*6*3的卷积核进行操作，同样为了增加特征maps的数量，3D CNN采用了三种不同的卷积核分别对两组特征map进行卷积操作；

进行采样工作，对每个特征maps采用3*3的核进行降采样操作，对每个特征maps采用7*4的2D卷积核进行卷积操作；

步骤三，采用递归神经网络对步骤二输出的图像特征进行循环训练，最终输出手势动作识别结果。

2.根据权利要求1所述的基于3D CNN和RNN混合神经网络的投影手势动作识别方法，其特征在于，所述步骤一包括如下子步骤：

1）使用深度相机在每一个手势场景都拍摄深度视频、彩色视频、红外视频各10段，数据集预设10个手势操作，分别为：手势A、手势B、手势C、手势D、手势E、手势F、手势G、手势H、手势I、手势J；

2）调节这些视频大小使其保持统一大小；

3）将上一步中得到的视频放入不同的文件夹中，生成手势标签文件；

4）将这些文件夹进行整合，完成数据集的创建。

3.基于3D CNN和RNN混合神经网络的投影手势动作识别系统，其特征在于，用于实现权利要求1-2任意一项所述的基于3D CNN和RNN混合神经网络的投影手势动作识别方法，包括图像视频数据集采集模块、三维卷积神经网络、递归神经网络；其中，图像视频数据集采集模块用于采用深度相机采集手部数据；三维卷积神经网络用于对数据集中的视频数据进行视频学习输出图像特征；递归神经网络用于对三维卷积神经网络输出的图像特征进行循环训练。