[发明专利]将真实场景与虚拟物体进行3D融合显示的方法和装置

权利要求书

1.一种将真实场景与虚拟物体进行3D融合显示的方法，其特征在于：

获取双目相机实时采集的真实场景的两幅2D左右眼图像画面；

针对每幅所述图像画面，确定三维虚拟物体在图像画面上的第一目标标记位置，并获取所述第一目标标记位置的深度值；

根据所述第一目标标记位置的深度值，确定出所述三维虚拟物体在所述图像画面上的所有目标标记位置的世界空间向量；

根据所述双目相机的内参矩阵，对所述所有目标标记位置的世界空间向量进行变换，得到每个目标标记位置对应的目标标记剪裁空间位置向量；

根据所述两幅2D左右眼图像画面和每幅图像画面的每个目标标记位置对应的目标标记剪裁空间位置向量，得到虚实融合后的两幅2D左右眼虚实融合画面；

根据所述两幅2D左右眼虚实融合画面，进行立体显示。

2.根据权利要求1所述的方法，其特征在于，所述确定三维虚拟物体在图像画面上的第一目标标记位置包括：

根据用户输入的位置指示，确定三维虚拟物体在所述图像画面上的所述第一目标标记位置；

或者，

检测所述图像画面上的预定标记特征点，根据检测到的所述预定标记特征点在所述图像画面上的位置以及预先设定的所述预定标记特征点与所述第一目标标记位置的位置关系，确定所述第一目标标记位置。

3.根据权利要求1所述的方法，其特征在于，所述获取所述第一目标标记位置的深度值包括：

采用双目立体视觉算法，获取所述第一目标标记位置的深度值；

或者，

接收深度传感器获取的所述第一目标标记位置的深度值。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标标记位置的深度值，确定出所述三维虚拟物体在所述图像画面上的所有目标标记位置的世界空间向量包括：

根据所述第一目标标记位置的深度值，确定出所述第一目标标记位置的世界空间向量；

根据所述第一目标标记位置的世界空间向量和所述三维虚拟物体的模型信息计算出所述三维虚拟物体其余目标标记位置的世界空间向量。

5.根据权利要求1所述的方法，其特征在于，

所述根据所述双目相机的内参矩阵，对所述所有目标标记位置的世界空间向量进行变换，得到每个目标标记位置对应的目标标记剪裁空间位置向量包括：

根据所述双目相机的内参矩阵和外参矩阵，对所述所有目标标记位置的世界空间向量进行变换，得到每个目标标记位置对应的目标标记剪裁空间位置向量。

6.根据权利要求5所述的方法，其特征在于，所述根据所述双目相机的内参矩阵和外参矩阵，对所述所有目标标记位置的世界空间向量进行变换前，所述方法还包括：

根据所述第一目标标记位置的世界空间向量，确定出所述双目相机的位姿参数，根据所述位姿参数得到外参矩阵；

根据所述双目相机的预设属性参数得到内参矩阵。

7.根据权利要求5所述的方法，其特征在于，所述根据所述双目相机的内参矩阵和外参矩阵，对所述目标标记位置的世界空间向量进行变换，得到每个目标标记位置对应的目标标记剪裁空间位置向量包括：

根据矩阵变换的乘法规则PosA_m*M_es*M_in，得到所述目标标记剪裁空间位置向量，其中PosA_m为所述目标标记位置的世界空间向量，M_es为所述外参矩阵，M_in为所述内参矩阵，m为所述目标标记位置的序号。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述根据所述两幅2D左右眼虚实融合画面，进行立体显示包括：

将所述两幅2D左右眼虚实融合画面按照预定规则进行排图，并通过光栅对排图后的虚实融合画面进行左右眼投射，从而得到虚实融合后的裸眼3D效果图像。