[发明专利]基于双流卷积神经网络的深度视频帧率上转换检测装置

说明书

本发明公开了一种基于双流卷积神经网络的深度视频帧率上转换检测装置，包括：残差特征提取模块，用于抑制时序上连续的两帧中的相同内容，加强对运动区域的关注，获得稳定的RGB和噪声残差特征；时空特征提取模块，用于接收多域残差，经过点卷积、批标准化层、激活函数和深度可分离卷积获取时空特征；高级特征提取模块，用于将获取的时空特征分别经过点卷积和深度可分离卷积，将获得的特征图在通道上拼接获得高级特征；特征聚合模块，用于将获得的残差特征、时空特征、高级特征进行连接，然后进行双线性池化，输入到全连接层，以实现对样本的分类。本发明的有益效果如下：可以对深度帧率上转换篡改进行有效的检测，可以满足视频真实性和完整性的验证要求，为深度视频帧率上转换的检测发展提供新的检测装置。

技术领域

本发明涉及视频信息安全技术领域，具体涉及一种基于双流卷积神经网络的深度视频帧率上转换检测装置。

背景技术

视频帧率上转换方法根据已有视频帧信息,在相邻帧之间生成插值帧提高原始视频的帧率，增加原始视频的运动连续性，为用户提供了更高质量的观感体验。假设原始视频帧率为15帧/秒，当篡改2倍、4倍至帧率为30帧/秒、60帧/秒时，本质上是以2倍速、4倍速来播放，所以，为使新视频流畅播放，需要通过技术手段增加视频的帧数，即视频插帧技术，也称作视频帧率上转换技术。对原始视频进行帧率上转换,保证在不同的场景下,即使后续视频帧中的环境发生显著变化,插值帧与相邻的两帧也应该保持时域的一致性和空域的一致性，使得视频帧率上转换后的视频依然自然、流畅,让观察者无法直接察觉曾经插值的痕迹。它最初的目的是提高低帧率视频的视觉质量，消除低帧率带来的停滞感。实际上,随着监控视频成为重要证据，不法分子可以通过上转换技术消除截断视频中画面的跳跃感，让检查者忽视篡改痕迹。它也可能被用于恶意目的，如伪造高帧率视频，拼接不同帧率的视频。显然,如果恶意篡改的虚假视频被传播到互联网,将可能误导社会舆论和影响司法公正等,产生负面的,甚至严重的后果。它的实现主要包含两种，一种是传统的视频帧率上转换被动取证方法，典型的算法有基于残差序列的算法、基于帧间相似度分布的算法、基于边缘密度的算法、基于平均纹理变化的算法和基于运动效应的算法；另一种是基于深度学习的视频插值被动取证方法。

现阶段，大多数视频帧率上转换的被动取证都是围绕传统的视频帧率上转换方法开展的，也就是传统典型的算法用于视频帧率上转换的取证。文献[1]采用基于残差序列的算法，利用相邻帧对上转换后的视频的每一帧计算估计帧与当前帧的差值，构造均分误差特征，利用该特征在篡改视频中的周期性，根据归一化频域中的第一个尖峰信息计算原始帧率。但是，对于采用帧平均、帧复制算法篡改的视频，该方法检测准精度不高，容易误判。文献[2]的作者分别对原始视频相似度和篡改视频相似度进行分析，得出经验化参数，作为区分原始帧与插值帧的阈值，而缺点是，且仅采用帧复制方式，算法的检测范围单一，针对其他篡改手段的检测效果没有合理保障；文献[3]发现，帧率上转换篡改行为会破坏连续帧边缘密度在时域上的一致性，而不同插值帧的边缘密度特征并不相同，引入Kaufman自适应移动均值方法综合考虑边缘密度的特征信息，形成自适应阈值曲线，区分插值帧和原始帧；文献[4]作者提出了一种基于帧级平均纹理变化分析(ATV)的深度视频帧率上转换检测方法。首先计算每一帧的ATV值，得到候选视频的ATV曲线。其次，对ATV曲线进行进一步处理，突出其周期性，表明存在帧率上转换操作，并进一步估计原始帧率。文献[5]的团队提出了一种新的检测算法，基于运动轨迹周期性的检测，首先针对第t帧计算第t-1帧和第t帧之间运动向量mv1与第t帧和第t+1帧之间的运动向量mv2，然后利用运动修剪模块剔除异常运动向量对，最后利用运动向量的周期性实现上转换检测。实验发现，当帧率24帧/秒上转换至25帧/秒时，该方法检测准确率急剧降低。文献[6]首先通过光流估计从给定的输入中学习导致模糊的像素级运动，然后通过将解码的特征与估计的流扭曲来预测多个帧；文献[7]结合了估计光流和通过混合相关像素和附近的像素直接产生RGB值的优点来生成中间帧；文献[8]将输入帧输入CNN，输出插值运动向量场和遮挡图的块估计。将其一起传递到帧插值模块中合成中间帧。这些合成方法合成的虚假视频都很难肉眼直接识别。目前，针对视频帧率上转换的取证还鲜有出现。

文献[1]-[8]具体信息如下：