[发明专利]一种基于内容感知的立体全景视频晕动程度预测方法

说明书

本发明公开了一种基于内容感知的立体全景视频晕动程度预测方法，其获取每个立体全景视频的左视点视频中的每帧视频帧的显著性对象图像、右视点视频中的每帧视频帧的运动信息图像、立体全景视频的左右视点每帧视频帧的视差图像；提出基于深度学习的立体全景视频晕动程度预测模型，构建双通道交互反馈网络同时对左右视点视频帧提取特征，同时对所获取的显著性对象图像、运动信息图像和视差图像提取相关特征并进行训练，得到立体全景视频晕动程度预测模型的训练模型；测试时通过立体全景视频晕动程度预测模型的训练模型，得到测试视频的客观晕动程度预测分数；优点是其能够有效预测出观看立体全景视频时的晕动程度。

技术领域

本发明涉及一种视频舒适度评价技术，尤其是涉及一种基于内容感知的立体全景视频晕动程度预测方法。

背景技术

随着沉浸式虚拟现实(Virtual Reality，VR)系统的逐渐普及，人们对视觉内容的追求已经不只局限于普通立体视频，还有具有更强沉浸体验感的立体全景视频。VR系统在与数字内容的交互方面具有革命性潜力，其已经在网络游戏、医疗、教育、农业等众多领域得到了广泛运用。然而，在给观众提供一个身临其境的观看环境的同时，VR系统还可能带来晕动症(Motion Sickness，MS)，也被称为VR病或晕屏，降低了观众的体验质量(Quality ofExperience，QoE)。晕动症表现出的常见症状是恶心、定向障碍、视觉不适，这些不良的感知体验在一定程度上限制了VR系统的发展。

截至目前，在不借助外力辅助的情况下(如前庭刺激)，还没有一种完整的解决方案能够在保持观看者良好体验感的前提下有效地消除VR系统带来的晕动症。在这种情况下，通过预测观看立体全景视频可能发生的晕动症等级是一个十分有意义的工作，这可以让用户提前得知所观看的视频内容可能引发的反应。J.Kim,W.Kim,S.Ahn,J.Kim,andS.Lee,Virtual reality sickness predictor:Analysis of vi sual-vestibularconflict and VR contents,2018Tenth International Conference on Quality ofMultimedia Experience,pp.1-6,2018.(虚拟现实疾病预测:视觉前庭冲突与虚拟现实内容分析)指出晕动症预测模型可以考虑场景中的用户观看行为，这可以通过显著性检测的形式进行建模，因为视觉注意是人类视觉系统(Human Visual System，HVS)中有限的有效资源，并不是所有的视觉刺激都会演化成感知视觉信息。此外，HVS还具有多尺度特性，视网膜可以同时处理多种分辨率的视觉信息。立体视觉内容也能给用户带来逼真的视觉体验，然而，长时间观看立体视觉内容时会产生一定程度的视觉不舒适。当立体感知与VR视频(普通全景视频)相结合时即立体全景视频，会使视觉的不舒适和晕动症症状更加严重。

目前，关于立体全景视频晕动程度预测的研究还较为缺乏，如何建立有效的客观预测模型还是需要深入探索。

发明内容

本发明所要解决的技术问题是提供一种基于内容感知的立体全景视频晕动程度预测方法，其能够有效预测出观看立体全景视频时的晕动程度。

本发明解决上述技术问题所采用的技术方案为：一种基于内容感知的立体全景视频晕动程度预测方法，其特征在于包括如下步骤：

步骤1：取一个立体全景视频数据库作为基准数据库，将基准数据库中的第k个立体全景视频记为I_k，将I_k的左视点视频中的第i帧视频帧记为L_k,i，将I_k的右视点视频中的第i帧视频帧记为R_k,i；其中，立体全景视频数据库中包含立体全景视频及其主观评分，1≤k≤Num，Num表示基准数据库中包含的立体全景视频的总个数，Num≥100，1≤i≤T，T表示立体全景视频的左视点视频或右视点视频中包含的视频帧的总帧数，T≥300，立体全景视频的左视点视频和右视点视频中的视频帧的宽度为W且高度为H；