[发明专利]一种基于多层级质量因子的全景视频评估方法及系统

权利要求书

1.一种基于多层级质量因子的全景视频评估系统，其特征在于：基于多层级的感兴趣区域计算多个质量因子，以应对全景视频中的重要区域对视频质量影响较大的问题；然后通过融合模型将多层级质量因子进行融合，模型参数可由主观数据学习得到，以应对全景视频用户的主观能动性；

本系统包括全景视频输入模块、感兴趣区域提取模块、多层级质量因子计算模块、时域处理模块和多层级质量因子融合模块；

本系统各模块的连接关系如下：

全景视频输入模块与感兴趣区域提取模块相连，感兴趣区域提取模块与多层级质量因子计算模块相连；多层级质量因子计算模块和时域处理模块相连；时域处理模块和多层级质量因子融合模块相连；

本系统各模块的功能如下：

全景视频输入模块的功能是对输入的视频文件进行解码得到全景帧图像对；感兴趣区域提取模块的功能是提取全景图像的多层级感兴趣区域矩阵；多层级质量因子计算模块的功能是根据感兴趣区域矩阵计算全景图像的质量因子；时域处理模块的功能是根据全景图像的质量因子计算全景视频的质量因子；多层级质量因子融合模块的功能是将全景视频的质量因子进行融合得到损伤视频的自动评估结果。

2.一种基于多层级质量因子的全景视频评估方法，其特征在于:包括以下步骤：

步骤一：全景视频输入模块对输入本系统的一对全景视频源文件进行视频处理和解码处理，得到全景帧图像对；

步骤一中，输入的一对全景视频源文件中的全景视频为一段无损参考视频S′和一段与参考视频内容相同的损伤视频S，损伤视频S中的损伤包括人为引入的模糊、加噪以及编码为主的处理造成的损伤，也包括网络传输过程中由丢包以及误码为主的原因造成的损伤；

其中，无损参考视频也称为参考视频；

得到的全景帧图像对包含由参考视频得到的参考帧图像，和由损伤视频得到的损伤帧图像；

步骤二：感兴趣区域提取模块，采用图像处理和计算机视觉算法对步骤一输出的全景帧图像进行感兴趣区域提取，输出多层级感兴趣区域矩阵集合；

步骤三：多层级质量因子计算模块，采用质量评估算法，基于步骤二输出的多层级感兴趣区域矩阵集合，计算步骤一输出的全景帧图像对的加权差异，输出N组帧图像对的多层级质量因子集合；

步骤四：时域处理模块，输入步骤三得到的N组图像多层级质量因子集合，按照时域处理方法，融合成为一组，输出损伤视频S的多层级质量因子集合

其中，时域处理方法以平均以及加权平均为主；

步骤五：多层级质量因子融合模块，输入步骤四得到的多层级质量因子集合，采用融合模型融合为一个质量评价结果

输出该结果Q，即损伤视频S的质量评价结果。

3.根据权利要求2所述的一种基于多层级质量因子的全景视频评估方法，其特征在于:步骤一中，输入的一对全景视频源文件中的全景视频为一段无损参考视频S′和一段与参考视频内容相同的损伤视频S，损伤视频S中的损伤包括人为引入的模糊、加噪以及编码为主的处理造成的损伤，也包括网络传输过程中由丢包以及误码为主的原因造成的损伤；

其中，无损参考视频也称为参考视频；

步骤1.1判断输入本系统的一对全景视频源文件是否具有相同的分辨率、帧率和时长，以及相同的映射格式，包括经纬图映射、六面体映射以及四棱锥映射为主的映射，并根据判断结果进行相应操作：

1.1A若输入本系统的一对全景视频源文件具有相同的分辨率、帧率和时长，以及相同的映射格式，则跳至步骤1.2；

1.1B输入本系统的一对全景视频源文件不具有相同的分辨率、帧率和时长，以及相同的映射格式，则在全景视频输入模块对损伤视频进行以像素插值、复制帧图像、映射变换为主的视频处理，使得损伤视频与参考视频具有相同的分辨率、帧率和时长，以及相同的映射格式；

步骤1.2使用以ffmpeg为主的解码工具，根据输入本系统的一对全景视频源文件的编码格式，进行解码处理，将每个全景视频解码为多帧图像，从而得到全景帧图像对，其中，全景视频源文件的视频帧数为N,得到的全景帧图像对为N组，包括由参考视频得到的N个参考帧图像和由损伤视频得到的N个损伤帧图像，每个全景帧图像的宽和高分别为W和H。