[发明专利]一种基于WebGL的实时虚实融合直播系统及方法

摘要

本发明提出的一种基于WebGL的实时虚实融合直播系统及方法，该系统及方法使用WebGL接口在Web端实现了一种实时虚实融合的有效方法。该系统由5个模块组成：视频模型生成模块、视频直播模块、GIS服务模块、虚实融合模块以及场景操纵器模块。该系统实现了Web端上多视频流实时虚实融合的显示效果，提升了虚实融合显示的匹配准确度，具有需求资源少，跨平台兼容性好，可扩展性强的优点。

主权项

1.一种基于WebGL的实时虚实融合直播系统，其特征在于：所述的虚实融合直播系统由离线端、服务器端和客户端构成，在离线端部署视频模型生成模块；在服务器端部署了视频直播模块和GIS服务模块；客户端部署了虚实融合模块以及场景操纵器模块：视频模型生成模块：读取监控摄像头采集的实时监控视频图像或本地视频图像，使用单幅照片建模技术将监控画面生成视频模型顶点数据，同时记录下相机参数信息，最后将上述数据汇总生成二进制格式文件存储，所述二进制格式文件包含视频模型顶点坐标数据和相机参数信息；使用其相机参数信息计算出视频模型的纹理投影变换矩阵及观看该视频模型的最佳相机视点位姿，再将得到的该视频模型相关信息结合视频模型WebGL渲染参数转化、存储为客户端浏览器可识别的JSON文件格式的视频模型文件；所述的视频模型文件由视频模型顶点坐标数据、视频模型相机位姿信息、初始纹理图片信息以及WebGL渲染信息组成；所述的WebGL渲染信息包括视频模型顶点数据格式、投影矩阵、视频动态纹理信息和着色器程序；视频模型生成模块与服务器端非同步、离线地生成视频模型文件，最后将生成的视频模型供GIS服务模块的调用；视频直播模块：接收监控摄像头采集的实时监控视频图像或本地视频图像，并将其处理并存储；当客户端虚实融合模块绘制视频模型的时候向视频直播模块请求对应的视频图像作为动态纹理时，视频直播模块将对应的视频图像向客户端虚实融合模块转发，供其使用；若虚实融合模块请求的是本地视频，视频直播模块直接转发本地视频；若虚实融合模块请求的是实时监控视频流，视频直播模块使用RTMP协议接受网络监控摄像头的实时推流，并对实时视频流进行转码、分片处理，最终生成m3u8格式的视频配置文件和ts格式的视频分片文件，最后通过HTTP协议推送到客户端浏览器供虚实融合模块使用；GIS服务模块：提供和管理整个虚实融合场景数据，所述虚实融合场景数据包括视频模型生成模块生成的视频模型，虚实融合场景中的三维建筑模型，以及整个场景的环境，所述三维建筑模型由真实建筑建模生成；当客户端浏览器发出访问的HTTP请求，GIS服务模块负责向虚实融合系统传输所需的视频模型和三维建筑模型；同时还向客户端浏览器提供一个地理信息系统(Geographic Information System，GIS)作为虚实融合场景的载体和环境，视频模型和建筑模型通过真实世界地理坐标系即经纬度坐标定位在数字地球上，实现了整个场景和各个模型精确的相对位置，所述地理信息系统是一个三维数字地球，带有地形信息和卫星底图，实现整个场景环境的真实再现；虚实融合模块：读取视频模型文件，调用WebGL接口实现视频模型的渲染，并使用HTML5的Tag标签向视频直播模块请求该视频模型对应的视频流数据，数据通过HTTP协议传输，最终得到分片的实时视频流数据；将实时视频流数据作为纹理，使用纹理投影的方式渲染、绘制，得到带有视频动态纹理的视频模型虚实融合效果；场景操纵器模块：为用户提供在客户端Web界面上的一系列交互操作，使得用户能够在三维增强虚拟环境中自由浏览，包括虚拟场景漫游、场景信息显示、视频纹理控制和VR模式这四类功能，可以让用户对于增强虚拟场景有更好的体验感与沉浸感；所述的虚拟场景漫游功能可让用户选择访问预先设定好的重要场景节点，或沿预定路线进行场景自动漫游；所述的场景信息显示功能可在用户点击选中对应的建筑模型或视频模型来获取对该模型详细信息的介绍；所述的视频纹理控制功能允许用户对场景内的视频模型进行操作、控制，使得用户能够对感兴趣的视频进行操作，所述操作包括暂停、播放、回放、快进、同步操作；所述的VR模式功能可让用户在使用VR设备浏览客户端Web时获得VR显示效果。