[发明专利]一种基于云渲染服务的数字孪生流推送方法

说明书

本发明公开了一种基于云渲染服务的数字孪生流推送方法，主要由运行于渲染服务器的三维应用程序、信令和Web服务器、客户端浏览器共同完成；三维应用程序中集成像素流送插件，像素流送插件使用H.264视频压缩对每个渲染帧的最终结果进行编码，将视频帧随音频一同打包到媒体流送中，并将该流送发送至一个或多个连线的浏览器上；信令和Web服务器用于交涉浏览器与像素流送插件之间的连接，并将播放媒体流送的HTML和JavaScript环境提供给浏览器。云端的渲染服务器拥有强大GPU，无需提前下载大型可执行文件或内容文件，无需安装任何内容，也无需创建并发布多个单独的包即可支持多平台。

技术领域

本发明涉及三维可视化技术领域，尤其是一种基于云渲染服务的数字孪生流推送方法。

背景技术

三维可视化，可以理解为使用三维软件创建图形和渲染设计并呈现的过程。简单来说，就是通过三维视觉效果，将各行业的数据立体化地呈现出来。三维可视化技术的应用，一方面在于进行高效、高精度的渲染建模，从而实现在一个数字场景中还原物理世界的全要素；另一方面也要结合对实时数据的处理、计算，实现数字世界与物理世界的联通，构建物理世界的数字孪生体。三维可视化技术是实现城市孪生、工业孪生的关键基础之一。

传统的三维可视化应用主要分为以下两种模式。

第一种，基于html5开发，使用浏览器运行，通过JavaScript脚本调用浏览器的WebGL接口，实现三维模型的加载和用户界面的展示。通过JavaScript脚本接受鼠标键盘输入，实现三维界面和用户的互动。这种模式在三维模型较大，场景比较复杂时，从服务器下载模型耗时较长，加载比较慢，渲染效果也一般。

第二种，使用基于c/c++的三维引擎开发，打包成客户端程序运行，三维模型集成在客户端里，只需要从服务器获取要展示的数据信息，运行过程中三维场景访问流畅，渲染效果好。这种模式需要安装客户端才能访问，对运行客户端程序的机器性能有较高的要求，无法跨平台访问，需要针对各个平台单独开发。

发明内容

针对现有三维可视化技术存在的弊端，本发明提供了一种基于云渲染服务的数字孪生流推送方法，三维模型的加载和场景的效果实现采用像素流送方式。

一种基于云渲染服务的数字孪生流推送方法，主要由运行于渲染服务器的三维应用程序、信令和Web服务器、客户端浏览器共同完成。

三维应用程序中集成像素流送插件，像素流送插件使用H.264视频压缩对每个渲染帧的最终结果进行编码，将视频帧随音频一同打包到媒体流送中，并将该流送发送至一个或多个连线的浏览器上。

信令和Web服务器用于交涉浏览器与像素流送插件之间的连接，并将播放媒体流送的HTML和JavaScript环境提供给浏览器。

具体流程包括以下步骤：

步骤1，启动所有像素流送组件时，在三维应用程序中运行的像素流送插件首先建立到信令和Web服务器的链接；

步骤2，客户端连接至信令和Web服务器，服务器向客户端提供一个HTML页面，其中包含播放器控件和以JavaScript编写的控制代码；

步骤3，用户开始流送时，信令和Web服务器进行交涉，在浏览器与三维应用程序之间建立直接连接；

步骤4，浏览器与三维应用程序之间建立连接后，像素流送插件直接将媒体流送至浏览器，来自客户端的输入由播放器页面的JavaScript代码直接发送回三维应用程序，三维应用程序执行相应的用户操作并更新媒体流送。

优选的，媒体流送播放过程中，信令和Web服务器维持其与浏览器以及三维应用程序的连接。

优选的，页面中集成WebRTC播放器，像素流送插件与浏览器之间使用WebRTC点对点通信框架进行像素流送。