[发明专利]基于级联神经网络的视频动作识别及定位方法

摘要

本发明公开了一种基于级联神经网络的视频动作识别及定位方，步骤(1)、生成候选区间并扩展，把候选区间分为三类；步骤(2)、将扩展后的候选区间中的彩色图像进行结构化；步骤(3)、利用视频单元时/空域特征提取网络进行视频单元级别的时/空域特征的提取，获得二维特征图F；步骤(4)、得到全局时域特征向量和全局空域特征向量ft′,fs′；步骤(5)、将全局时域特征向量和全局空域特征向量ft′,fs′输入动作分类器、完整性分类器和候选区间坐标调整器中，计算损失函数并优化网络参数；步骤(6)、得到最终预测结果即以取整后的loc+Δloci帧为中心、宽度为取整后的size+Δsizei帧的范围的第m类动作。与现有技术相比，本发明能够精准判断原始视频中从开始到结束的区间内是第几类动作。

主权项

1.一种基于级联神经网络的视频动作识别及定位算法，其特征在于，该算法包括以下步骤：步骤(1)、用基于聚类算法的视频候选区间生成算法生成大量候选区间，并将原候选区间扩展至原来的两倍长度，同时把候选区间分为三类：第一类，候选区间与训练数据集中包含动作的视频片段重叠度IoU大于0.7，第二类，候选区间与训练数据集中包含动作的视频片段重叠度IoU小于0.3，大于0.01，第三类，候选区间与训练数据集中包含动作的视频片段重叠度IoU小于0.01；步骤(2)、将扩展后的候选区间中的彩色图像进行结构化处理，本步骤的具体处理包括：将连续六帧图像作为一个视频单元，使用TVL1光流算法计算相邻两帧RGB图像之间的像素流动，生成十张光流图；将这十张光流图与从每个视频单元中随机选出的一张RGB图像作为一个视频单元时/空域特征提取网络的输入；步骤(3)、利用视频单元时/空域特征提取网络进行视频单元级别的时/空域特征的提取，获得二维特征图F，本步骤的具体处理包括：所述视频单元时/空域特征提取网络包含时域GoogLeNet和空域GoogLeNet，时域GoogLeNet和空域GoogLeNet对输入层接受的数据维度参数进行了调整，其中时域GoogLeNet的输入层固定接受维度为n×10×w×h的矩阵，空域GoogLeNet的输入层固定接受维度为n×3×w×h的矩阵，其中，n为一批训练样本中图片的张数，w为图片宽度的像素数，h为图片高度的像素数，3和10代表通道数目；时域GoogLeNet和空域GoogLeNet的输出分别为时域特征图Ft和空域特征图Fs，两种特征图共同作为步骤(4)中全局时空特征提取网络的输入；步骤(4)、将尺寸不一的特征图时域特征图Ft和空域特征图Fs改变为固定尺寸的、结构化的特征图Ft′,Fs′，并利用全局时空域特征提取网络进行特征图Ft′,Ft′的全局时域特征向量和空域特征向量的提取，得到全局时域特征向量和全局空域特征向量ft′,fs′；步骤(5)、将全局时域特征向量和全局空域特征向量ft′,fs′输入动作分类器、完整性分类器和候选区间坐标调整器中，分别进行损失函数的计算；动作分类器与完整性分类器的总损失函数Lcls表达式为：第一项为动作分类器的损失函数，只有第一类和第三类训练样本用于训练动作分类器；第二项为完成度分类器的损失函数，只有第一类和第二类训练样本用于训练完成度分类器；其中，V_n表示完整性分类器的输出；P_n表示动作分类器的输出，c_n^*表示分类标签，N为一个训练批次中训练样本的个数；n为一个训练批次中某一样本的编号；候选区间坐标调整器的损失函数Lreg为其中，表示当训练样本为第一类样本时取1、为第二类及第三类样本时取0；smooth_L1代表平滑的L1损失函数；r_n＝{Δloc′_n,Δsize′_n}表示网络预测的候选区间坐标调整至真实动作区间的调整量，表示候选区间调整至真实动作区间真实需要的坐标调整量；loc_n表示候选区间的中心坐标，size_n表示候选区间的长度，表示真实动作的中心坐标，表示真实动作的长度，Δloc_n′、Δsize_n′分别表示网络预测的候选区间中心点loc需要的调整量以及网络预测的候选区间宽度size需要的调整量，Δloc_n、Δsize_n分别对应真实的候选区间中心点loc需要的调整量以及真实的候选区间宽度size需要的调整量；根据损失函数L_reg计算误差，利用反向传播优化网络参数；步骤(6)、融合步骤(5)中动作分类器的输出P_n和完整性分类器的输出V_n，得到预测的分类得分向量使用极大值抑制的方法去除冗余的候选区间，最终使用候选区间中心点loc调整量Δloc_i和候选区间宽度size调整量Δsize_n作为坐标调整器的输出，调整候选区间坐标，得到最终预测结果loc+Δloc_n,size+Δsize_n，即以取整后的loc+Δloc_n帧为中心、宽度为取整后的size+Δsize_n帧的范围的第m类动作，m为数值最大的得分向量O对应的维数。