[发明专利]基于双流卷积神经网络的深度视频帧率上转换检测装置

权利要求书

1.一种基于双流卷积神经网络的深度视频帧率上转换检测装置，其特征在于，包括：

残差特征提取模块，用于抑制时序上连续的两帧中的相同内容，加强对运动区域的关注，获得稳定的RGB和噪声残差特征；

时空特征提取模块，用于接收多域残差，经过点卷积、批标准化层、激活函数和深度可分离卷积获取时空特征；

高级特征提取模块，用于将获取的时空特征分别经过点卷积和深度可分离卷积，将获得的特征图在通道上拼接获得高级特征；

特征聚合模块，用于将获得的残差特征、时空特征、高级特征进行连接，然后进行双线性池化，输入到全连接层，以实现对样本的分类。

2.根据权利要求1所述的基于双流卷积神经网络的深度视频帧率上转换检测装置，其特征在于：所述残差特征提取模块由三个结构相同的第一模块、第二模块以及第三模块并联而成，其中，

所述第一模块包括三个用于提取每个残差输入帧的帧内特征的分组卷积与三个所述分组卷积连接并用于缓解过拟合的可能性的BN层，其中，所述第一模块组数设为5，步长和填充都设为1，包含一个卷积核，且卷积核尺寸为3×3；

所述第二模块包含两个卷积核，且卷积核尺寸为3×3；

所述第三模块包含三个卷积核，且卷积核尺寸为3×3。

3.根据权利要求2所述的基于双流卷积神经网络的深度视频帧率上转换检测装置，其特征在于：所述时空特征提取模块由三个结构相同的第四模块、第五模块以及第六模块并联而成，其中，

所述第四模块包含一个点卷积、两个深度可分离卷积和连接所述点卷积和第一个深度可分离卷积的BN层，其中，

所述点卷积的卷积核尺寸为1×1，步长为1，填充为0，组数设为1；

所述深度可分离卷积为一个分组卷积连接一个所述点卷积组成，该分组卷积的卷积核大小为3×3，步长和填充为1，组数设置为1；

所述第五模块包含两个卷积核，且卷积核尺寸为3×3；

所述第六模块包含三个卷积核，且卷积核尺寸为3×3。

4.根据权利要求3所述的基于双流卷积神经网络的深度视频帧率上转换检测装置，其特征在于：所述高级特征提取模块由三个结构相同的第七模块、第八模块以及第九模块并联而成，其中，

所述第七模块包含第一部分和第二部分，其中，

所述第一部分使用一个步长为2，卷积核尺寸为1×1，填充为0的点卷积和一个下采样并执行逐元素加法的BN层；

所述第二部分由两个卷积核尺寸为3×3、深度可分离卷积、BN层、ReLU和平均池化操作组成，其中，池化层的步长为2，填充为1，卷积核尺寸为3×3，通过下采样减少特征图的尺寸；

所述第八模块的深度可分离卷积中的分组卷积包含两个卷积核，且卷积核尺寸为3×3；

所述第九模块的深度可分离卷积中的分组卷积包含两个卷积核，且卷积核尺寸为3×3。

5.根据权利要求4所述的基于双流卷积神经网络的深度视频帧率上转换检测装置，其特征在于：所述特征聚合模块由一个深度可分离卷积、BN层以及全局平均池化组成，其中，

所述深度可分离卷积的卷积核尺寸为3×3，步长为1，组数设为1；

所述全局平均池化对提取的特征图的每个通道进行均值化。

6.根据权利要求4或5所述的基于双流卷积神经网络的深度视频帧率上转换检测装置，其特征在于：所述第一模块至所述第九模块均采用ReLU作为激活函数。

7.根据权利要求1或2所述的基于双流卷积神经网络的深度视频帧率上转换检测装置，其特征在于：经过残差特征提取模块的特征图的通道数为30。

8.根据权利要求1或3所述的基于双流卷积神经网络的深度视频帧率上转换检测装置，其特征在于：经过时空特征提取模块的特征图的通道数为60。

9.根据权利要求1或4所述的基于双流卷积神经网络的深度视频帧率上转换检测装置，其特征在于：经过高级特征提取模块的特征图的通道数为90。