[发明专利]基于3D卷积神经网络的无参考VR视频质量评价方法

说明书

本发明提出了一种基于3D卷积神经网络的无参考VR视频质量评价方法，该方法包括：采用视口生成法获取VR视频中每一帧所对应的多个视口，并将位置相同的视口组合成一个视口视频，以便根据所述VR视频生成多个视口视频；建立3D卷积神经网络模型，并根据生成好的视口视频对所述3D卷积神经网络模型进行训练；基于训练好的3D卷积神经网络模型对待评价VR视频对应的视口视频进行预测，以获得所述待评价VR视频对应的视口视频的MOS值；对属于同一个VR视频的视口视频所对应的MOS值进行池化操作，以获得所述待评价VR视频的最终视频质量分数；由此，该方法充分考虑了VR视频的特性，并采用无参考方式以大大提高VR视频质量评价的效率。

技术领域

本发明涉及视频处理技术领域，特别涉及一种基于3D卷积神经网络的无参考VR视频质量评价方法和一种计算机设备。

背景技术

相关技术中，VR视频的客观质量按是否需要参考视频数据，分为全参考、半参考和无参考客观质量评价，由于VR视频与传统视频存在一定的差异，使得传统视频的无参考方法不适合用来评价VR视频的质量，因此现有对于VR视频的质量评价方法中大多采用全参考或部分参考的方式，但是，由于VR视频普遍具有较高的分辨率，所以导致其数据量成倍增长，使得VR视频的参考视频数据量变得特别庞大，导致其难以获取和传输，从而大大降低了VR视频质量评价的效率。

发明内容

本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于3D卷积神经网络的无参考VR视频质量评价方法，该方法充分考虑了VR视频的特性，并采用无参考方式以大大提高VR视频质量评价的效率。

本发明的第二个目的在于提出一种计算机设备。

为达到上述目的，本发明第一方面实施例提出了一种基于3D卷积神经网络的无参考VR 视频质量评价方法，该方法包括以下步骤：采用视口生成法获取VR视频中每一帧所对应的多个视口，并将位置相同的视口组合成一个视口视频，以便根据所述VR视频生成多个视口视频；建立3D卷积神经网络模型，并根据生成好的视口视频对所述3D卷积神经网络模型进行训练；基于训练好的3D卷积神经网络模型对待评价VR视频对应的视口视频进行预测，以获得所述待评价VR视频对应的视口视频的MOS值；对属于同一个VR视频的视口视频所对应的MOS值进行池化操作，以获得所述待评价VR视频的最终视频质量分数。

根据本发明实施例的基于3D卷积神经网络的无参考VR视频质量评价方法，首先采用视口生成法获取VR视频中每一帧所对应的多个视口，并将位置相同的视口组合成一个视口视频，以便根据VR视频生成多个视口视频，接着建立3D卷积神经网络模型，并根据生成好的视口视频对3D卷积神经网络模型进行训练，然后基于训练好的3D卷积神经网络模型对待评价VR视频对应的视口视频进行预测，以获得待评价VR视频对应的视口视频的MOS 值，最后对属于同一个VR视频的视口视频所对应的MOS值进行池化操作，以获得待评价VR 视频的最终视频质量分数；由此，通过充分考虑VR视频的特性，并采用无参考方式以大大提高VR视频质量评价的效率。

另外，根据本发明上述实施例提出的基于3D卷积神经网络的无参考VR视频质量评价方法还可以具有如下附加的技术特征：

可选地，建立所述3D卷积神经网络模型，并根据生成好的视口视频对所述3D卷积神经网络模型进行训练，包括：将VR视频根据视频的MOS值分为十类，以构建一个十分类网络结构，并通过3D卷积神经网络构建一个回归预测网络结构，通过迁移学习将所述十分类网络结构保存的模型参数作为回归预测模型的预训练模型以训练回归预测模型；根据随机梯度下降法，将所述多个视口视频分批次输入到所述十分类网络结构中以训练分类模型，并通过迁移学习将所述分类模型作为回归预测模型的预训练模型以训练回归预测模型，并经过多次迭代以获取所述3D卷积神经网络模型。

可选地，通过以下公式对VR视频中的视口进行提取：