[发明专利]一种用于VR全景直播的动态图像融合方法及系统

说明书

本发明公开了一种用于VR全景直播的动态图像融合方法及系统，包括：采集多视角直播流，压缩编码后，实时的将其推送到流媒体服务器上；使用动态图像融合算法将不同视角的直播画面无缝拼接，生成VR全景直播流；创建虚拟场景和3D球体对象，并在虚拟场景内以VR全景图为材质建立网格模型；创建虚拟的透视相机，指定相机的初始位置、方向和视野范围；创建3D渲染器，把场景中虚拟摄像机视野范围内的所有二维直播画面渲染成三维图像并显示；根据用户视角的改变，改变虚拟摄像机的位置和方向，以生成并显示不同视角的直播画面。本发明支持用户视角改变，不仅能扩展用户在直播中的视野范围，消除直播盲区，而且为用户带来沉浸式的视觉感受，提高直播效果。

技术领域

本发明属于5G在线直播领域，特别是涉及一种用于VR全景直播的动态图像融合方法及系统。

背景技术

5G时代的到来，给网络直播行业带来了旺盛的生机，而且使其应用范围更为广泛。随着科学技术的发展，人们一直在不断追求更高的舒适度和体验度，因而对观看直播的体验度要求也越来越高，直播本身势必发展出新的存在形式，功能也将愈加强大。5G网络的应用，沉浸式体验将成为学习、生活、娱乐和审美的重要形态，那么将沉浸式体验与网络直播相结合则成为目前研究的重点。

传统的沉浸式体验需要购买并佩戴专业的VR眼镜，不仅价格昂贵，门槛高，而且也非常不利于直播的推广和传播，这与随时随地看直播的灵活性背道而驰。并且利用该方式看到的直播画面不支持用户观察视角的改变，视野范围小，盲区大，互动性差。如何让用户真正获得完美的视觉感受和体验，又有利于直播的推广和传播，也就成为了本领域内技术人员亟待解决的问题。

发明内容

发明目的：本发明提供一种用于VR全景直播的动态图像融合法及系统，充分利用不同视角图像及前后图像的像素信息，使得拼接更快更顺滑，减少直播延迟。

发明内容：本发明提出一种用于VR全景直播的动态图像融合方法，具体包括以下步骤：

(1)通过架设不同方向的摄像机来采集多视角直播流，压缩编码后，实时的将其推送到流媒体服务器上；

(2)用动态图像融合算法将不同视角的直播画面无缝拼接，生成VR全景直播流；

(3)创建虚拟场景和3D球体对象，然后将解码后的VR全景直播流作为3D球体对象的网格材质，贴在球的内表面；

(4)在虚拟场景中创建一个虚拟的透视相机，指定相机的初始位置、方向和视野范围；

(5)创建3D渲染器，把虚拟场景中虚拟摄像机视野范围内的所有二维直播画面渲染成三维图像并显示；

(6)根据用户视角的改变，改变虚拟摄像机的位置和方向，以生成并显示不同视角的直播画面。

进一步地，所述步骤(2)实现过程如下：

(21)在图像拼接时，对于图像的重合区域，考虑不同视角直播图像像素亮度不均因素，使用加权平均平滑重叠区域；图像加权平均表达式为：

式中，I_i表示I₁和I₂拼接后的图像，α₁和α₂表示I₁和I₂的权值，权值由重合区域像素点与源图像之间的距离决定，在0到1之间取值；

(22)在生成VR全景直播流的过程中，不仅要考虑当前图像的像素信息，同时也要提取下一帧图像的像素信息，然后提取前后图像相对变化的像素信息，将提取的像素信息及时更新，每一帧当前全景图都是基于前一帧全景图生成。

进一步地，所述步骤(3)包括以下步骤：

(31)在开发环境中创建一个虚拟场景Scene；