[发明专利]一种三维模型与监控视频的无缝融合方法及装置

说明书

本发明提供了一种三维模型与监控视频的无缝融合方法及装置，涉及监控视频系统、三维GIS系统、三维模型渲染技术领域。本发明提供的三维模型与监控视频的无缝融合方法，通过建立深度图的方式来确定目标微面片是否被遮挡，并且，如果该微面片被遮挡，且在视景体内，则使用三维模型原有纹理对目标微面片进行渲染，从而改善了三维模型与监控视频融合的显示效果。

技术领域

本发明涉及监控视频系统、三维GIS系统、三维模型渲染技术领域，具体而言，涉及一种三维模型与监控视频的无缝融合方法及装置。

背景技术

相关技术中，已经出现了三维模型与监控视频的融合技术。这种技术通常是从监控视频流提取视频帧，并将视频帧投射到三维空间场景里，以实现视频数据与三维模型数据进行全时空立体融合，进而使得三维模型和通过摄像机实拍得到的三维场景图像真正的进行实时完美结合。该技术能够实现三维场景的直观表达，达到视频位置与周边三维信息的融合目标。

相关技术中，利用摄像机可视区域内的图像，可以对三维模型进行全时空立体的视频图像渲染，以实现三维模型与监控视频的融合。然而，由于监控场景的复杂性，相关技术中，所建立的三维地图模型的效果并不理想。

发明内容

本发明的目的在于提供三维模型与监控视频的无缝融合方法及装置。

第一方面，本发明实施例提供了一种三维模型与监控视频的无缝融合方法，包括：

构建目标视频图像所对应的三维空间场景的深度图；

获取视频帧，生成视频帧纹理；

计算三维模型中的目标微面片在归一化设备坐标系的坐标和视频帧纹理中的纹理坐标；

根据目标微面片的归一化设备坐标系的坐标，判断目标微面片是否在视景体内；

若目标微面片在视景体内，利用目标微面片在视频帧纹理中的纹理坐标，从目标视频图像的深度图中读取目标微面片深度信息，再根据深度信息判断目标微面片是否被遮挡；若目标微面片不在视景体内，则根据三维模型原有纹理对目标微面片进行渲染；

若被遮挡，则使用三维模型原有纹理对目标微面片进行渲染。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，还包括：

若不被遮挡，则使用微面片在视频帧纹理中的纹理坐标获取纹理的颜色信息，对目标微面片进行渲染。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，步骤构建目标视频图像所对应的三维空间场景的深度图包括：

根据摄像头位置的三维坐标和摄像头的姿态角计算摄像头的视图矩阵；

依据摄像头的视场角和视频的宽高比计算摄像头的透视投影矩阵；

创建深度纹理对象；

设置帧缓冲区，用于控制渲染流水线把深度图保存在深度纹理对象中；

根据视图矩阵和透视投影矩阵对三维场景做渲染，以生成深度图。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，步骤获取视频帧，生成视频帧纹理包括：

读取视频帧，并根据视频的帧率更新视频帧，用于与三维模型融合，实现动态融合效果；

调用三维API将二维图像的视频帧保存在纹理，生成视频帧纹理。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，步骤计算三维模型中的目标微面片在归一化设备坐标系的坐标和视频帧纹理中的纹理坐标包括：