[发明专利]一种基于深度学习的AR人像拍照方法和系统

说明书

本申请涉及一种基于深度学习的AR人像拍照方法和系统，其中，该方法包括：获取带有人像的图像，通过语义深度神经网络对带有人像的图像进行人体语义分割，得到语义mask；接着，通过带有深度分支的语义深度神经网络对带有人像的图像进行深度估计，得到人体像素的深度，确定图像中人像和虚拟内容的相对遮挡关系；最后，对语义mask进行腐蚀膨胀和高斯滤波处理，并通过导向滤波将已经确定相对遮挡关系的人像和虚拟内容进行融合，得到融合图像。通过本申请，解决了在对处于虚拟场景中的人物进行照相时，存在的人像被虚拟物体遮挡，导致用户体验差的问题，提升了图像质量，提高了用户体验感。

技术领域

本申请涉及AR技术领域，特别是涉及一种基于深度学习的AR人像拍照方法和系统。

背景技术

增强现实技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，例如视觉信息、声音、味道、触觉等，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。然而，对于大场景增强现实或者空间级的增强现实体验，通常虚拟的内容涵盖了很大范围的真实场景，比如整个建筑都被虚拟内容覆盖，在此种情况下当人站在建筑物之前拍照合影的时候，人会被虚拟的内容遮住，从而影响了用户体验。

在相关技术中，基于增强现实的拍照方法有：根据当前场景的类型，触发开启增强现实功能以对预览图像进行增强现实处理，对物体的增强进行特殊处理，但是没有考虑虚拟内容遮挡人物的问题；将图像和音效一起作为增强内容加入到增强现实照片中的方法，也没有解决人物遮挡的问题；将目标场景实时画面数据与二维动画帧数据进行图片融合，生成增强现实图片，这种方法主要是通过后期人工处理生成增强现实图片，图片缺乏真实感。

目前针对相关技术中，在对处于虚拟场景中的人物进行照相时，存在的人像被虚拟物体遮挡，导致用户体验差的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种基于深度学习的AR人像拍照方法和系统，以至少解决相关技术中在对处于虚拟场景中的人物进行照相时，存在的人像被虚拟物体遮挡，导致用户体验差的问题。

第一方面，本申请实施例提供了一种基于深度学习的AR人像拍照方法，所述方法包括：

获取带有人像的图像，通过语义深度神经网络对所述带有人像的图像进行人体语义分割，得到语义mask；

通过带有深度分支的语义深度神经网络对所述带有人像的图像进行深度估计，得到人体像素的深度，确定所述图像中人像和虚拟内容的相对遮挡关系；

对所述语义mask进行腐蚀膨胀和高斯滤波处理，并通过导向滤波将已经确定相对遮挡关系的人像和虚拟内容进行融合，得到融合图像。

在其中一些实施例中，通过语义深度神经网络对所述带有人像的图像进行人体语义分割，得到语义mask包括：

通过encode模块对所述图像进行卷积计算，输出得到卷积参数；

通过decode模块对每层Block输出的卷积参数进行计算，输出mask基准；

通过所述卷积参数对所述mask基准进行卷积操作，得到所述语义mask。

在其中一些实施例中，在通过encode模块对所述图像进行卷积计算之前，所述方法包括：

通过spacetodepth将所述图像的尺寸缩小，并将所述图像的空间分辨率变成通道数。

在其中一些实施例中，所述通过decode模块对每层Block输出的卷积参数进行计算，输出mask基准还包括：

通过FPN对每层Block输出的卷积参数进行上采样，得到特征图信息。