[发明专利]AR应用中的虚实遮挡处理方法

权利要求书

1.一种AR应用中的虚实遮挡处理方法，其特征在于，包括步骤：

将深度相机下的离散人体深度图数据转换配准到主摄像机下进行稠密化处理后生成人体深度图；

加入主摄像机RGB的梯度图和配准遮罩图对主摄像机下的人体深度图进行映射后得到人体遮罩图；

对人体深度图、主摄像机RGB的梯度图和配准遮罩图分别赋予权重映射融合得到最终人体遮罩图；

（1）

其中，；

通过人体遮罩图中对应像素坐标下的深度值大小比较生成遮挡效果遮罩图，依据遮挡效果遮罩图显示虚拟物体像素或真实人体像素。

2.根据权利要求1所述的AR应用中的虚实遮挡处理方法，其特征在于，采用卷积方式填充满离散化的深度坐标周边的空洞像素点得到稠密的人体区域且对应填充位置上的深度值由周边邻域共同决定，生成稠密化后的所述人体深度图。

3.根据权利要求1所述的AR应用中的虚实遮挡处理方法，其特征在于，将真实人体和虚拟物体在同一像素坐标下的深度值的差值作为融合权重加入到像素值生成中。

4.根据权利要求3所述的AR应用中的虚实遮挡处理方法，其特征在于，当大于最大阈值或者小于最小阈值时，选择深度值小的rgb填充于最终遮挡渲染图的对应坐标上；当，选择虚实物体两端的rgb信息共同参与得到融合的颜色信息。

5.根据权利要求1~4任一所述的AR应用中的虚实遮挡处理方法，其特征在于，还包括相机配准步骤：在深度相机和主摄像机的棋盘格图中提取角点信息，建立对应的匹配关系并进行深度相机内部配准，求解深度相机和主摄像机之间的位置关系，基于位置关系将深度相机的深度数据转换到主摄像机坐标系下，然后投影到二维幅面上与虚拟物体的深度值进行逐像素比较。

6.根据权利要求5所述的AR应用中的虚实遮挡处理方法，其特征在于，包括步骤：

S1，角点检测，分别对主摄像机和深度相机下的棋盘格图像提取角点坐标；

S2，角点匹配，通过顺序、数量和方向对坐标数值标进行限制以及排序，然后使得主摄像机和深度相机的角点坐标一一对应；

S3，深度相机设备内部配准，由于其深度相机和RGB相机的内参以及他们之间的旋转平移关系已知，通过求解如下公式计算得到深度相机坐标系下的角点三维坐标；

其中，是相机的内参，是深度相机下的对应的角点像素坐标；

S4，主摄像机与深度相机的位置关系求解，将深度相机的坐标系当作世界坐标系，即，通过PnP的方法求解旋转矩阵和平移矩阵，

其中，是主摄像机相机下对应的角点坐标，是主摄像机的内参矩阵；基于旋转矩阵和平移矩阵实时地将深度相机的深度数据转换到主摄像机坐标系下，然后实时投影到二维幅面上实时与虚拟物体的深度值进行逐像素比较。

7.根据权利要求5所述的AR应用中的虚实遮挡处理方法，其特征在于，包括数据源输入步骤，在该步骤中基于深度学习算法构建深度学习模型训练数据，且仅在深度图像中进行人体区域预测，获得人体解析结果数据。

8.根据权利要求7所述的AR应用中的虚实遮挡处理方法，其特征在于，获得人体解析数据后，包括后处理步骤：

将对应像素坐标下的人体深度值进行索引，生成对应的人体深度图；

对人体深度图进行平滑滤波后将深度相机下的离散人体深度图转换到主摄像机下。

9.根据权利要求8所述的AR应用中的虚实遮挡处理方法，其特征在于，平滑滤波包括中值滤波、高斯滤波中的任一种。