[发明专利]基于轻量化三维卷积网络的行为识别方法

摘要

本发明利用洗牌层、空间卷积和时间卷积分解，分组卷积等，设计构建一个轻量化的三维卷积神经网络来处理行为识别问题。该轻量化三维卷积网络能够，在保证识别精度的同时，显著的减少网络参数量、运算量及计算开销，提升网络执行速度。

主权项

1.一种基于轻量化三维卷积网络的行为识别方法，其特征在于步骤如下：步骤1：数据预处理沿着时间维对待识别的视频段，进行裁剪，得到时间长度一致的短视频；步骤2：划分训练集验证集从标注了行为类别的视频集合中提取少量视频作为验证集，其余视频作为训练集；步骤3：构建轻量化三维卷积网络网络模型所述的轻量化三维卷积网络的结构依次是：(1)一个BN层；(2)一个宽度为64，卷积核尺寸为1×7×7的三维卷积层，一个宽度为64，卷积核尺寸为7×1×1的，步长为(2,1,1)的卷积层；(3)窗口尺寸为1×3×3，步长为(1,2,2)的最大池化层；(4)宽度为64的pointwise卷积层；(5)宽度64，卷积核尺寸1×3×3的卷积层,宽度192卷积核尺寸3×1×1的卷积层；(6)窗口尺寸为1×3×3，步长为(1,2,2)的最大池化层；(7)宽度依次为256和480的轻量化模块3b和3c；(8)窗口尺寸为3×3×3，步长为(2,2,2)的最大池化层；(9)宽度依次为512、512、512、528和832的轻量化模块4b、4c、4d、4e和4f；(10)窗口尺寸为2×2×2，步长为(2,2,2)的最大池化层；(11)宽度依次为832和1024的轻量化模块5b和5c；(12)窗口尺寸为2×7×7，步长为(2,2,2)的平均池化层，宽度为64的pointwise卷积层；所述的轻量化模块包含四个分支通道，第一条通道由一个pointwise分组卷积层构成，第二条通道及第三条通道均由一层point wise卷积层、一层卷积核为1×3×3的分组卷积层、及卷积核为3×1×1的分组卷积层构成；第四条通道由一个最大池化层及一个pointwise分组卷积层构成；该模块在正向运算过程中，先将输入数据平均分为16组，然后通过洗牌操作让各组信息互相混合，再将16组信息按照比例分配为四组，依次输入给四个分支通道，最后将各分支通道的结果按通道合并，得到轻量化模块的输出；步骤4：数据导入定义视频数据具体导入方式，为网络训练做准备；步骤5：训练网络模型依照定义的数据导入方式，并行的从不同时间长度的多个视频里提取相同时间长度的视频片段作为训练数据；将训练数据批量的输入到构建好的轻量化三维卷积网络中，以视频片段的标注的类别为指导信号，利用梯度下降算法对网络参数进行训练，直至网络收敛；在验证集上评估训练的网络模型，并防止过拟合；步骤6：实用将步骤1中处理好的待处理数据输入到训练好的模型中，进行识别，给出最终的识别结果。