[发明专利]将真实场景与虚拟物体进行3D融合显示的方法和装置

说明书

本发明公开一种将真实场景与虚拟物体进行3D融合显示的方法和装置。该方法包括：获取双目相机实时采集的真实场景的两幅2D左右眼图像画面；确定三维虚拟物体在图像画面上的第一目标标记位置，并获取其深度值；根据第一目标标记位置的深度值，确定出三维虚拟物体在图像画面上的所有目标标记位置的世界空间向量；根据双目相机的内参矩阵和外参矩阵，对所有目标标记位置的世界空间向量进行变换，得到每个目标标记位置对应的目标标记剪裁空间位置向量；根据两幅2D左右眼图像画面和每个目标标记位置对应的目标标记剪裁空间位置向量，得到虚实融合后的两幅2D左右眼虚实融合画面；根据两幅2D左右眼虚实融合画面，进行立体显示。

技术领域

本发明涉及增强现实(Augmented Reality，AR)与3D显示技术，尤其涉及一种将真实场景与虚拟物体进行3D融合显示的方法和装置。

背景技术

在增强现实领域中，如何更为逼真地将相机预览到的真实场景画面与虚拟物体融合到一起，且能让观察者在观察时能感觉到融合后的虚拟物体融合于真实场景中一直是该领域中研究的难题。

目前技术大多采用单目相机捕捉到的一副图像或者双目相机捕捉两幅图像，在获取的图像中添加一些虚拟特效进行虚实融合的方法，但是这样合成的最终效果只是在真实场景中添加了虚拟物体的2D图像，对观察者来说并不能呈现出融合显示的立体效果。

另外一种融合显示技术是将提前训练好的二维标记物放置到将要预览的真实场景中，通过检测二维标记物的姿态等信息，在二维标记物对应的图像位置绘制虚拟物体，但是这种方法有极大的局限性，因为对于要求实时性高的很多应用场合，不可能要预先进行漫长的标记物训练操作。

因此，在真实场景中融合虚拟物体时，如何既能够呈现出虚实融合的立体显示效果又能够保证实时性，是一个需要解决的技术问题。

发明内容

(一)要解决的技术问题

本发明提供一种将真实场景与虚拟物体进行3D融合显示的方法和装置，以便在真实场景中融合虚拟物体时，既能够呈现出虚实融合的立体显示效果又能够保证实时性。

(二)技术方案

为了解决上述技术问题，本发明提供了一种本发明提供一种将真实场景与虚拟物体进行3D融合显示的方法，包括：

获取双目相机实时采集的真实场景的两幅2D左右眼图像画面；

确定三维虚拟物体在图像画面上的第一目标标记位置，并获取所述第一目标标记位置的深度值；

针对每幅所述图像画面，根据所述第一目标标记位置的深度值，确定出所述三维虚拟物体在所述图像画面上的所有目标标记位置的世界空间向量；

根据所述双目相机的内参矩阵M_in，对所述所有目标标记位置的世界空间向量进行变换，得到每个目标标记位置对应的目标标记剪裁空间位置向量；

根据所述两幅2D左右眼图像画面和所有目标标记剪裁空间位置向量，得到虚实融合后的两幅2D左右眼虚实融合画面；

根据所述两幅2D左右眼虚实融合画面，进行立体显示。

为了进一步描述上述方法，该方法还包括：

所述确定三维虚拟物体在图像画面上的第一目标标记位置包括：根据用户输入的位置指示，确定三维虚拟物体在所述图像画面上的所述第一目标标记位置；或者，检测所述图像画面上的预定标记特征点，根据检测到的所述预定标记特征点在所述图像画面上的位置以及预先设定的所述预定标记特征点与所述第一目标标记位置的位置关系，确定所述第一目标标记位置。

所述获取所述第一目标标记位置的深度值包括：采用双目立体视觉算法，获取所述第一目标标记位置的深度值；或者，接收深度传感器获取的所述第一目标标记位置的深度值。