[发明专利]无参考全景视频质量评价方法、系统、终端及介质

说明书

本发明提供了一种无参考全景视频质量评价方法及系统，包括：获得基于梯度域的局部二值模式的ERP平面结构特征；进行超像素分割处理，分别获得基于超像素的人眼感知的权重和基于超像素的投影关系的权重；根据所述局部二值模式的结构特征以及所述人眼感知的权重和所述投影关系的权重，提取全景视频单帧图像的结构特征；根据所述全景视频单帧图像的结构特征，估计全景视频质量分数。同时提供了一种相应的终端及介质。本发明不需要原始的参考序列，也不需要知道序列的失真类型，属于无参考视频质量评估技术，更适合实际应用中评估传输中产生的失真情况，在实时通信系统中实用性更强；失真的实验结果性能均为最高，具有更好的鲁棒性。

技术领域

本发明涉及多媒体技术领域的一种全景视频质量评估方法，特别是涉及一种基于超像素的无参考全景视频质量评价方法、系统、终端及介质。

背景技术

随着虚拟现实(Virtual reality，VR)技术的快速发展，越来越多的VR应用需要高质量的全景视频。全景图像和视频解决了一般平面图的视角单一、不能带来全方位感受的缺憾，其记录的360度球面范围内所有的景致使得全景图像和视频的场景更加丰富。高分辨率的全景图像和视频能够提供给用户更加具有沉浸式、更加真实的体验，然而，在真实通信系统中，全景图像视频必须经过投影和压缩处理才能便于存储、传输和处理，质量下降的全景图像和视频会降低用户体验质量，更严重会引起用户头晕与不适感。

全参考质量评价模型的准确度虽然一般来说较高，但在实际通信系统中，一般而言，接收方通常没有未失真的源图像/视频，因此全参考模型的实用性会大大降低。无参考视频质量评价(No-Reference panoramic video quality assessment,NR-PVQA)是指在参考序列不存在的情况下，直接衡量失真序列的视觉质量。NR-PVQA不需要原始的参考序列，也不需要知道序列的失真类型，更适合实际应用中评估传输中产生的失真情况。因此，设计一种无参考的全景视频质量评估方法具有重大意义。

经过检索发现：

公开号为CN110691236A，公开日为2020年1月14日的中国发明专利申请《一种全景视频质量评价方法》，其将原始全景视频和待评价的全景视频分成若干个帧组，并采用立方体投影方法投影到立方体的六个平面上，然后计算在每个帧组和每个投影面的空域相似性和频域相似性，并根据所有帧组和所有投影面的空域相似性和频域相似性，融合得到待评价的全景视频的客观评价值。该方法仍然存在如下技术问题：该方法是一种全参考全景评估方法，需要原始的参考全景图像，这在现实应用中是无法获得的；该方法仅仅提取了原始全景图像和失真图像的空域相似性和频域相似来评价全景质量，没有考虑投影关系和人眼感知特征，无法准确反映观察空间和处理平面之间全景内容的畸变情况。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

本发明针对现有技术中存在的上述不足，提供了一种基于超像素的无参考全景视频质量评价方法、系统、终端及介质。

根据本发明的一个方面，提供了一种无参考全景视频评价方法，包括：

获得失真图像的基于梯度域的局部二值模式的ERP(经纬图投影Equi-Rectangular Projection,ERP)平面结构特征；

对失真图像进行超像素分割处理，分别获得基于超像素的人眼感知的权重和基于超像素的投影关系的权重；

根据所述局部二值模式的结构特征以及所述人眼感知的权重和所述投影关系的权重，提取全景视频单帧图像的结构特征；

根据所述全景视频单帧图像的结构特征，估计全景视频质量分数。

优选地，所述获得失真图像的基于梯度域的局部二值模式的ERP平面结构特征，包括：

计算全景视频中失真图像的单帧图像的梯度图像；