[发明专利]基于卷积神经网络的全参考虚拟现实视频质量评价方法

摘要

本发明涉及一种基于卷积神经网络的全参考虚拟现实视频质量评价方法，包括：视频预处理：利用VR视频的左视图视频与右视图视频得到VR差分视频，从差分视频中均匀抽帧，给每一帧不重叠的切块，每一帧相同位置的视频块构成一个VR视频补丁；建立两个配置一样的卷积神经网络模型；训练卷积神经网络模型：利用梯度下降法，以VR视频补丁为输入，每个补丁配上原视频质量分数作为标签，分批次将其输入网络，经过多次迭代后网络各层权重得到充分优化，最终得到可用于提取虚拟现实视频特征的卷积神经网络模型；利用卷积神经网络提取特征；利用支持向量机得到局部分数，采用分数融合策略得到最终分数。本发明提高了客观评价方法准确率。

主权项

1.一种基于卷积神经网络的全参考虚拟现实视频质量评价方法，包括下列的步骤：1)视频预处理：利用VR视频的左视图视频与右视图视频得到VR差分视频，从差分视频中均匀抽帧，给每一帧不重叠的切块，每一帧相同位置的视频块构成一个VR视频补丁，以产生足够多的数据用于卷积神经网络的训练。2)建立两个配置一样的卷积神经网络模型：建立两个配置一样的卷积神经模型，每个模型包含两个卷积层、两个池化层与两个全连接层，激活函数采用整流线性单元，采用Dropout策略防止过拟合；随后调整网络的层内结构及训练参数以达到更好的分类效果；3)训练卷积神经网络模型：利用梯度下降法，以VR视频补丁为输入，每个补丁配上原视频质量分数作为标签，分批次将其输入网络，经过多次迭代后网络各层权重得到充分优化，最终得到可用于提取虚拟现实视频特征的卷积神经网络模型；4)利用卷积神经网络提取特征：将原视参考VR视频与失真VR视频，分别输入到两个构建好的卷积神经网络模型，在第一个全连接层后输出得到不同的两个特征，将这两个特征链接在一起作为新的特征用于支持向量机训练；5)利用支持向量机得到局部分数，采用分数融合策略得到最终分数：通过支持向量机得到每一个VR视频补丁的分数，通过参考VR视频制作特点的分数融合策略，对不同位置的VR视频补丁赋予不同的权重，对不同视频补丁的分数加权得到最终的VR视频分数。本发明所提出的VR视频客观质量评价方法利用了原始参考视频与深度学习模型，在极大提高客观评价方法准确率的同时能够利用机器自身学习提取VR视频更高维度的特征，无需手工提取视频的特征。除此之外本发明结合VR视频的制作与播放特点，对不同的视频补丁分数给与不同的权值进行加权，然后利用分数融合策略来综合表述VR视频的客观质量。本发明采取的视频预处理方法简单，具有较强的实用性，并能有效扩大数据量。所提出的测试模型耗时小，易于操作。本方法得到的VR视频质量客观评价结果与主观评价结果具有很高的一致性，能够较为准确的反映VR视频的质量。