[发明专利]AR应用中的虚实遮挡处理方法

说明书

本发明公开了一种AR应用中的虚实遮挡处理方法，包括步骤：将深度相机下的离散人体深度图配准到主摄像机下进行稠密化处理后生成人体深度图；加入主摄像机RGB的梯度图和配准遮罩图对主摄像机下的人体深度图进行映射后得到人体遮罩图；通过人体遮罩图中对应像素坐标下的深度值大小比较生成遮挡效果遮罩图，依据遮挡效果遮罩图来显示虚拟物体像素或真实人体像素等；本发明能够实时地输出目标真实物体和虚拟物之间精细的遮挡效果，不仅能够适用于真实物体遮挡虚拟物体的应用场景，而且能够达到部分遮挡的复杂效果，同时还能够最大程度保持边缘细节，对AR系统的真实性感观，提供了可靠的技术保障。

技术领域

本发明涉及AR技术领域，更为具体的，涉及一种AR应用中的虚实遮挡处理方法。

背景技术

随着视频技术的发展，图像深度估计算法、三维重建工程以及立体视觉硬件系统的日趋完善。AR(增强现实)技术在以上理论和技术基础上能够构建更加真实和丰富沉浸感的虚拟体验，它可以应用于游戏行业、医疗行业、虚拟演播室等。AR技术的核心就是表达一个虚实交互的过程，能够正确地反映真实场景和虚拟物体的空间关系是这一项技术的关键，AR中的遮挡处理问题求解就是从无到有地构建虚和实现在当前相机视角下的成像位置关系。构建遮挡处理关系的重点在于实体的深度估计、虚实之间的边缘融合、以及相机配准等相关流程。发展至今，主要存在以下几类解决方案：

1）现有的一些虚拟演播技术能够实现一些简单的遮挡处理关系，但是他们大多数只能够通过简单的场景标定和贴图过程的方式将虚拟物体放置在比真实物体更靠近镜头的位置。这种方式只能够实现虚拟物体遮挡处理真实物体的情形，其应用的单一性已经不能满足各行业日益增长的需求。

2）随着抠像技术的成熟，以及它在虚拟演播室中的广泛应用，一些基于人物面片的遮挡处理技术问世并被各种产品采纳。这种方式能够很好地解决方案1）中不能实现实体遮挡处理虚拟物体的问题，但是由于人物数据是面片形式，缺少局部深度信息，完成更加精细的虚实交互存在一定难度。

3）虚实遮挡处理效果的精度与真实场景的三维化程度成正比例关系，一些技术方案通常采用稠密三维重建的方式对场景进行三维重构，在获得完整的深度信息之后，便能够实现比较精细的遮挡处理效果。但是稠密重建的数据量大、运算复杂等特点，使得这项技术在AR应用中基本上达不到实时。

针对AR中的遮挡处理问题，每条技术路线具备相应的衍生算法或技术、预处理以及后处理过程。基本框架涵盖多视图几何问题、计算成像体系以及二维图像处理等相关技术，如何设计和组合这些算法或流程是开发一个高效的AR虚实遮挡处理应用的前提。技术方案的选择和设计应综合考虑硬件成本、开发成本、算法实现难易程度、算法鲁棒性等因素。

发明内容

本发明的目的在于克服现有技术的不足，提供一种AR应用中的虚实遮挡处理方法，能够实时地输出目标真实物体和虚拟物之间精细的遮挡效果，不仅能够适用于真实物体遮挡虚拟物体的应用场景，而且能够达到部分遮挡的复杂效果，同时还能够最大程度保持边缘细节，对AR系统的真实性感观，提供了可靠的技术保障。

本发明的目的是通过以下方案实现的：

一种AR应用中的虚实遮挡处理方法，包括步骤：

将深度相机下的离散人体深度图配准到主摄像机下进行稠密化处理后生成人体深度图；

加入主摄像机RGB的梯度图和配准遮罩图对主摄像机下的人体深度图进行映射后得到人体遮罩图；

通过人体遮罩图中对应像素坐标下的深度值大小比较生成遮挡效果遮罩图，依据遮挡效果遮罩图显示虚拟物体像素或真实人体像素。

进一步的，采用卷积方式填充满离散化的深度坐标周边的空洞像素点得到稠密的人体区域且对应填充位置上的深度值由周边邻域共同决定，生成稠密化后的所述人体深度图。