[发明专利]一种基于3D卷积神经网络的视频显著性检测方法

权利要求书

1.一种对于视频图像的显著性检测方法，其特征在于，包括以下步骤：

A.首先利用2D卷积建立一个2D深度卷积神经网络，输入一帧视频帧获得运动目标语义特征；

B.其次利用3D卷积建立一个3D深度卷积神经网络，输入连续三帧视频帧得到帧与帧之间的时空显著性信息，代表当前帧的时空显著性特征；

C.最后根据所得到的运动目标语义特征和时空显著性特征，采用3D卷积层连接得到混合特征映射图，之后将混合特征映射图输入到3D反卷积网络中以学习和混合运动目标语义特征和时空显著性特征，最终的显著图通过3D反卷积网络得到；

其中，所述步骤A中的2D深度卷积神经网络记为Conv2DNet，它包括13层2D卷积层用于提取运动目标语义特征，5层最大池化层用于对特征图进行下采样；Conv2DNet通过去掉VGG16模型的后面3层全连接层搭建而成，VGG16模型首先在训练集中随机选取一个训练样本，记为训练样本T(I_t-1，I_t，I_t+1，G_t)，其中包含连续三帧视频帧图像(I_t-1，I_t，I_t+1)和对应的目标帧参考显著图G_t，然后将当前帧图像I_t输入到Conv2DNet中，经过卷积神经网络前向传播得到1024维特征映射图，其映射图行和列大小为7×7，代表运动目标语义特征；假设第l层为卷积层，第l+1层为最大池化层，则第l层第j个特征映射和激活函数Relu的计算公式如下：

其中⊙表示卷积核k在第l-1层所有关联的特征映射上做卷积运算再加上一个偏置参数b，然后求和，经过激活函数Relu得到最终激励值；

所述步骤C中的3D反卷积网络记为Deconv3DNet，它包含5层非池化层用于恢复最大池化层下采样后的最大值位置，12层3D反卷积层用于学习和混合运动目标语义特征和时空显著性特征，还有一层3D卷积层用于生成最后的显著性图，将所获得的运动目标语义特征和时空显著性特征连接获得2048维特征映射图，其映射图行和列大小为7×7，将其输入到Deconv3DNet中，经过卷积神经网络前向传播获得最后的显著图S_t，其显著图行和列大小为224×224；假设第l层为反卷积层，第l-1层为非池化层，则第l层第j个特征映射的计算公式如下：

其中⊙表示反卷积核在第l-1层所有关联的特征映射上做反卷积运算再加上一个偏置参数b，然后求和，经过激活函数Relu得到最终激励值。

2.根据权利要求1所述的一种对于视频图像的显著性检测方法，其特征在于，所述步骤B中的3D深度卷积神经网络记为Conv3DNet，它包含14层3D卷积层用于提取时空显著性特征，5层最大池化层用于对特征映射图下采样，同时记录采样最大值的位置；将训练样本T所包含的连续三帧视频帧(I_t-1，I_t，I_t+1)输入到Conv3DNet中，经过卷积神经网络前向传播获得1024维特征映射图，其大小为7×7，代表时空显著性特征。

3.根据权利要求1所述的一种对于视频图像的显著性检测方法，其特征在于，将所述步骤C中获得的最终显著图S_t与训练样本T目标视频帧所对应的参考显著图G_t相减，从而获得前向传播的误差，再经过反向传播进行权重调优。

4.根据权利要求3所述的一种对于视频图像的显著性检测方法，其特征在于，所采用的计算前向传播误差的损失函数方法为均方误差，计算公式为：

其中S_t(i，j)为生成的最终显著图S_t中的像素值，其显著图行和列大小为h×w，所有最终显著图设置为224×224；G_t(i，j)为目标视频帧所对应的参考显著图G_t中的像素值，其显著图行和列大小为h×w，所有显著图设置为224×224；k表示每次传入神经网络的批次大小，其中损失函数L所获得的是S_t和G_t对应像素相减，并取其均值。