[发明专利]一种用于VR全景直播的动态图像融合方法及系统

权利要求书

1.一种用于VR全景直播的动态图像融合方法，其特征在于，包括以下步骤：

(1)通过架设不同方向的摄像机来采集多视角直播流，压缩编码后，实时的将其推送到流媒体服务器上；

(2)用动态图像融合算法将不同视角的直播画面无缝拼接，生成VR全景直播流；

(3)创建虚拟场景和3D球体对象，然后将解码后的VR全景直播流作为3D球体对象的网格材质，贴在球的内表面；

(4)在虚拟场景中创建一个虚拟的透视相机，指定相机的初始位置、方向和视野范围；

(5)创建3D渲染器，把虚拟场景中虚拟摄像机视野范围内的所有二维直播画面渲染成三维图像并显示；

(6)根据用户视角的改变，改变虚拟摄像机的位置和方向，以生成并显示不同视角的直播画面。

2.根据权利要求1所述的用于VR全景直播的动态图像融合方法，其特征在于，所述步骤(2)实现过程如下：

(21)在图像拼接时，对于图像的重合区域，考虑不同视角直播图像像素亮度不均因素，使用加权平均平滑重叠区域；图像加权平均表达式为：

式中，I_i表示I₁和I₂拼接后的图像，α₁和α₂表示I₁和I₂的权值，权值由重合区域像素点与源图像之间的距离决定，在0到1之间取值；

(22)在生成VR全景直播流的过程中，不仅要考虑当前图像的像素信息，同时也要提取下一帧图像的像素信息，然后提取前后图像相对变化的像素信息，将提取的像素信息及时更新，每一帧当前全景图都是基于前一帧全景图生成。

3.根据权利要求1所述的用于VR全景直播的动态图像融合方法，其特征在于，所述步骤(3)包括以下步骤：

(31)在开发环境中创建一个虚拟场景Scene；

(32)建立一个半径radius为500，水平垂直分割面分别为60和40的3D球体对象；

(33)在虚拟场景内，利用3D球体对象和视频纹理材质建立一个网格模型对象Mesh；

(34)采用HLS传输协议从SRS流媒体服务器上获取VR直播流，并使用H264解码，将VR全景直播图作为网格模型材质，贴在球的内表面。

4.根据权利要求1所述的用于VR全景直播的动态图像融合方法，其特征在于，步骤(4)所述的虚拟透视相机的初始位置指定在(radius,0,0)，方向为目标对象方向，视野范围为75°。

5.一种采用权利要求1-4任一所述方法的用于VR全景直播的动态图像融合系统，其特征在于，所述系统包括：

采集模块，用于采集多视角直播流并进行压缩编码；

动态图像融合模块，使用动态图像融合算法将不同视角的直播画面无缝拼接，生成VR全景直播流，并为VR播放器模块进行直播流的推送；

VR播放器模块，用于VR全景直播的三维构建和播放，包括VR模块和渲染模块，所述VR模块用于二维全景直播视图的三维重建，还原最真实的三维空间的直播场景；所述渲染模块用于VR直播的3D渲染，显示三维全景直播画面；

控制模块，用于控制三维场景中的虚拟摄像机的运转，以生成并显示当前三维直播画面。

6.根据权利要求5所述的用于VR全景直播的动态图像融合系统，其特征在于，所述控制模块包括重力感应模块和手势滑动模块；所述重力感应模块用于感应移动端用户手持屏幕的方向以及屏幕方向的变动，根据感应信息改变虚拟摄像机的旋转角度进而可以展示当前三维直播画面；所述手势滑动模块用于获取用户在屏幕上的滑动方向和距离，根据方向和距离信息改变虚拟摄像机的位置进而展示当前三维直播画面。