[发明专利]一种基于有限视场反馈的全景视频多播流的视角预测方法

说明书

本发明公开了一种基于有限视场反馈的全景视频多播流的视角预测方法，包括以下步骤：1、构建基于球面卷积的显著性检测模型，并利用显著性检测模型对全景视频提取显著性特征；2、构建基于球面卷积的记忆网络模型，并利用基于球面卷积的记忆网络模型挖掘少量用户用户视图序列的因果关联性以及特征；3、最后结合视频的时空显著性特征和少量用户视角特征进行融合，得到预测的全体用户视角。本发明考虑了全景视频的映射失真问题，并将显著性检测与少量视角结合起来得到最终预测的用户视角，从而能够实现较高的预测准确率。

技术领域

本发明涉及多媒体视频传输领域，具体的说是一种基于有限视场反馈的全景视频多播流的视角预测方法。

背景技术

沉浸式多媒体，包括全景视频和虚拟/增强现实(VR/AR)视频，最近随着交互式应用程序的需求上升而变得越来越流行。全景视频，借助头戴显示器(HMDs)，允许用户自由改变视野的方向，提供了一个非凡的沉浸式体验。然而，传统无线技术的带宽容量与360度视频流的带宽需求之间存在着很大的差距。由于头戴式显示设备HMD的局限性，用户只能看到整个视频的一小部分，因此选择用户感兴趣的视频区域进行传输能够节省带宽和计算资源。若像YouTube的策略一样，传输整个全景的视频内容，造成了带宽和计算资源的巨大浪费。假设用户未来的视角已知，则可以根据用户感兴趣的视频区域选择对应的视频传输，从而在视频传输中有利于带节省带宽资源，并使得用户观看的视频质量和用户体验效果更好。因此，需要预测未来的用户视角。

目前已有许多针对全景视频视角预测的研究。深圳大学的霍永凯等人发明了利用物体跟踪和历史轨迹全景视频的视角预测方法及系统(公开号：CN110248178A)，利用物体跟踪和历史轨迹全景视频的视角预测方法包括以下步骤：利用轨迹平移转换解决视角轨迹的不连续情况；利用对全景视频物体跟踪的轨迹模拟观看者兴趣坐标；构建基于深度学习的视角预测模型，预测未来帧的视角轨迹。然而，许多用户在观看全景视频时都有自己独特的探索轨迹。因此，使用根据用户历史轨迹来预测未来的视角利用单一模型来预测所有用户的移动是不准确的。

叠境数字科技(上海)有限公司的高盛华等人发明了一种全景视频中用户凝视点的预测方法(公开号：CN108462868A)，包括：获取过往用户观看特定视频时，视频帧和凝视点位置的样本集；建立人工神经网路，包括轨迹编码模块、显著性编码模块以及差值预测模块；将样本集输入人工神经网路中进行训练，使得到与用户实际的凝视点位置的欧氏距离最小的凝视点预测位置。但是此方法没有考虑到全景视频的映射失真问题，不能提高预测的准确性。

上海交通大学的宋利等人发明了一种多重CNN网络预测全景视频观看位置的方法(公开号：CN110166850A)，该方法包括：基于前一段时间的观看轨迹，运用神经网络方法预测出下一时刻的观看点；将全景视频帧映射成多个方向上的小视频帧，每个小视频帧通过第一个卷积神经网络CNN得到相应的显著图，将显著图合并成整个的视频帧的显著图，再将整个的视频帧的显著图通过第二个卷积神经网络CNN进行精炼得到全景视频帧显著图；由于在观看全景视频时，视频上面和下面的区域关注比较少，较多关注的是中间区域，而每个区域都会有自己的显著图，所以将全景视频帧进行映射，得到上下前后左右6个方向上的映射图，并将这6幅映射图分别通过第一个CNN网络得到6幅相应的显著图，然后将这6幅显著图反映射成一整幅整个的视频帧的显著图，该显著图为灰度图；将预测的所述观看点和全景视频帧显著图输入到全连接网络，得到最终的预测点即全景视频观看位置点。虽然此方法考虑了全景视频的映射失真问题，并且通过立方体映射尽可能的降低失真的问题，但是，还引入了补丁边界的额外不连续性，并且可能需要进行后处理以结合每个补丁的单独输出，不能提高预测的准确性。

发明内容

本发明是为避免上述现有技术所存在的不足之处，提供一种基于有限视场反馈的全景视频多播流的视角预测方法，以期将显著性检测与少量视角结合起来得到最终预测的用户视角，从而克服全景视频的映射失真问题，并提高显著性检测模型的准确性和提高视角预测准确率。

本发明为解决技术问题采用如下技术方案：