[发明专利]一种Web环境下基于深度图的虚实融合装置及方法

权利要求书

1.一种Web环境下基于深度图的虚实融合装置，其特征在于，包括客户端和服务端，所述客户端用于提交请求和接收服务端返回的信息进行自主绘制，所述服务端用于接收客户端请求，生成客户端自主绘制需要的一系列信息并返回给客户端；

所述客户端和服务端相互间用于交互信息：所述客户端向服务端传输的信息包括主视点、视点操作类型及摄像头名称；所述服务端向客户端传输的信息包括主视点、主视点投影矩阵、摄像头视图投影矩阵、主视点深度图、摄像头深度图及主视点背景图；

其中，所述主视点包括位置、朝向和向上方向三个矢量，所述主视点背景图和摄像头深度图采用压缩或非压缩格式，所述摄像头深度图根据客户端请求摄像头数量，为0个或多个；

其操作方法的具体步骤如下：

其中，服务端按需绘制：

1)、客户端请求参数分析：接受客户端用户请求，获取主视点、视点操作类型和摄像头名称的信息，然后根据获取的主视点重置三维引擎的主视点；根据获取的视点操作类型修改三维引擎的主视点；

2)、生成主视点背景图：生成主视点下的背景图；

3)、生成主视点深度图：生成主视点下的深度图；

4)、生成摄像头深度图：根据摄像头名称查询摄像头信息，获得摄像头视点信息，把主视点切换到摄像头视点，生成摄像头深度图；

5)、把主视点、主视点投影矩阵、摄像头视图投影矩阵、主视点深度图、摄像头深度图和主视点背景图返回给请求的客户端；

客户端自主绘制：

1)、获取服务端传来的主视点、主视点投影矩阵、摄像头视图投影矩阵、主视点深度图、摄像头深度图和主视点背景图；

2)、根据主视点、主视点投影矩阵、摄像头视图投影矩阵、主视点深度图，计算主视点背景图各像素在摄像头空间的深度值和视频纹理坐标；

3)、根据步骤2)中计算的深度值，与摄像头深度图中对应像素的深度值进行比较，确定在视频覆盖范围内的主视点背景图像素，若深度值相等，则该像素在视频覆盖范围内，用二维数组记录视频覆盖范围内的像素的视频纹理坐标，生成绘制模板；

4)、视频帧融合：对绘制模板中确定的视频覆盖范围内的所有像素，用该像素的视频纹理坐标采样视频帧作为该像素颜色，不在覆盖区的像素直接使用主视点背景图像素颜色。