[发明专利]一种基于三维垂直阻变存储器的视频动作识别方法和装置

权利要求书

1.一种基于三维垂直阻变存储器的视频动作识别方法，其特征在于，包括以下步骤：

步骤一，搭建基于自整流器件的三维垂直阻变存储器；所述三维垂直阻变存储器由4层RRAM阻变存储器阵列堆叠组成，每个RRAM阻变存储器阵列由m行n列的RRAM单元器件组成，每个RRAM单元的器件结构包括铂Pt、碳C、氧化铌NbO_x和锡TiN，其中阻变材料氧化铌NbO_x与铂Pt电极形成肖特基势垒，使RRAM阵列出现整流特性；

步骤二，采集并预处理用于视频动作识别的训练集图像和测试集图像；

步骤三，构造三维卷积神经网络模型；

步骤四，使用训练集图像，在三维垂直阻变存储器上仿真训练三维卷积神经网络模型；

步骤五，利用在三维垂直阻变存储器上训练好的三维卷积神经网络模型，输入测试集图像，进行视频动作识别。

2.如权利要求1所述的一种基于三维垂直阻变存储器的视频动作识别方法，其特征在于，所述步骤二，具体为：采集视频，对视频流进行视频分帧处理，得到多帧RGB图像，每4帧图像作为一个样本，每个样本的大小为4×H×W×C，其中4表示帧数，H表示图像高度，W表示图像宽度，C表示图像通道数；

将每个样本的RGB图像转换为灰度图像，得到新的样本，大小为4×H×W，然后将每个样本的尺寸缩小1/2，缩放后的样本大小为4×H½×W ½，将缩放后的所有样本选取80%作为训练集图像，剩余的20%作为测试集图像。

3.如权利要求1所述的一种基于三维垂直阻变存储器的视频动作识别方法，其特征在于，所述三维卷积神经网络模型的结构为：依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层和分类器，其中，每层参数的设置如下：

输入层的特征通道数设置为4；

第一卷积层的特征通道数设置为32，第一卷积层卷积核的尺寸设置为32×5×5×4；

第一池化层的特征通道数设置为32，第一池化层池化尺寸设置为2×2；

第二卷积层的特征通道数设置为64，第二卷积层卷积核的尺寸设置为64×5×5×32；

第二池化层的特征通道数设置为64，第二池化层池化尺寸设置为2×2；

第三卷积层的特征通道数设置为128，第三卷积层卷积核的尺寸设置为128×5×5×64；

第三池化层的特征通道数设置为128，第三池化层池化尺寸设置为2×2；

全连接层的特征通道数设置为3。

4.如权利要求3所述的一种基于三维垂直阻变存储器的视频动作识别方法，其特征在于，所述步骤四，具体为：

首先将训练数据集作为三维卷积神经网络模型的输入，利用模型提取数据集中每个像素点的空间特征和时间特征，将模型前向传播的结果作为模型的输出，通过求解所述输出与实际动作类别之间的误差并对误差进行反向传播，来更新三维卷积神经网络模型的权重；

然后将更新的权重映射到三维垂直阻变存储器的阵列的电导上，将更新的权重加上映射的权重误差作为网络训练过程中新的参数，再不断的进行迭代，直至网络输出与实际动作类别之间的误差不再减小，此时网络收敛，得到收敛时的三维卷积神经网络模型的权重，从而得到训练好的三维卷积神经网络模型。

5.如权利要求4所述的一种基于三维垂直阻变存储器的视频动作识别方法，其特征在于，所述步骤五，具体为：将测试集图像输入到三维卷积神经网络模型中，并加载训练好的三维卷积神经网络模型的权重，得到测试集图像的动作识别精度。

6.一种基于三维垂直阻变存储器的视频动作识别装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-5中任一项所述的基于三维垂直阻变存储器的视频动作识别方法。

7.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-5中任一项所述的基于三维垂直阻变存储器的视频动作识别方法。