[发明专利]基于3D卷积神经网络的立体视频质量评价方法

摘要

本发明涉及一种基于3D卷积神经网络的立体视频质量评价方法，步骤如下：数据预处理；训练3D卷积神经网络；质量分数融合：将整个测试视频随机分为两部分，一部分用于3D CNN模型的训练，另一部分用于模型的测试；在3D CNN模型的训练过程之后，从测试立体视频中获得每个输入视频块的预测分数，为获得视频整体评价得分，采用考虑全局时间信息的质量分数融合策略：首先，利用平均池化将空间维度上的立方体级别分数进行整合；为模拟全局时间信息，定义基于运动强度计算每个片段的权重，然后计算立体视频每段时间维上运动强度占总运动强度的权重，最后，将视频级预测分数汇总为每段时间维上质量分数的加权和，得到立体视频的融合质量分数。

主权项

1.一种基于3D卷积神经网络的立体视频质量评价方法，步骤如下：第一步.数据预处理(1)差值视频：对于立体视频的左视频和右视频做差值，计算差值视频，得出卷积网络的原始视频；(2)数据集增强：将原始视频在空间和时间维度上分割，导出多个低分辨率的短视频立方体；标记这些立方体，获得有效的训练数据；第二步.训练3D卷积神经网络(1)3D卷积：通过将三维卷积核与由多个相邻帧组成的立方块进行卷积来完成3D卷积，确保时间信息在整个网络中得到提取和保存，在卷积完成之后，执行加性偏差项和非线性激励函数以获得特征图；(2)3D池化：池化层基于局部相关性原理对从卷积层传输的特征映射进行二次采样，池化操作输出特征图的某个位置处的相邻单元的汇总统计量；(3)3D CNN架构：构建六层的3D CNN架构来自动有效地捕获本地立体视频质量评价任务的时空特征，架构包括两个3D卷积层，两个3D汇集层和两个完全连接层；在输入视频通过卷积层之后，3D最大池化层对3D特征图进行二次采样，再使用随机梯度下降(Stochastic gradient descent，SGD)优化器对视频块进行训练，输出每个视频块的预测分数；第三步.质量分数融合将整个测试视频随机分为两部分，一部分用于3D CNN模型的训练，另一部分用于模型的测试；在3D CNN模型的训练过程之后，从测试立体视频中获得每个输入视频块的预测分数，为获得视频整体评价得分，采用考虑全局时间信息的质量分数融合策略：首先，利用平均池化将空间维度上的立方体级别分数进行整合；为模拟全局时间信息，定义基于运动强度计算每个片段的权重，然后计算立体视频每段时间维上运动强度占总运动强度的权重，最后，将视频级预测分数汇总为每段时间维上质量分数的加权和，得到立体视频的融合质量分数。