[发明专利]一种基于深度学习的AR人像拍照方法和系统

权利要求书

1.一种基于深度学习的AR人像拍照方法，其特征在于，所述方法包括：

获取带有人像的图像，通过语义深度神经网络对所述带有人像的图像进行人体语义分割，得到语义mask；

通过带有深度分支的语义深度神经网络对所述带有人像的图像进行深度估计，得到人体像素的深度，确定所述图像中人像和虚拟内容的相对遮挡关系；

对所述语义mask进行腐蚀膨胀和高斯滤波处理，并通过导向滤波将已经确定相对遮挡关系的人像和虚拟内容进行融合，得到融合图像。

2.根据权利要求1所述的方法，其特征在于，通过语义深度神经网络对所述带有人像的图像进行人体语义分割，得到语义mask包括：

通过encode模块对所述图像进行卷积计算，输出得到卷积参数；

通过decode模块对每层Block输出的卷积参数进行计算，输出mask基准；

通过所述卷积参数对所述mask基准进行卷积操作，得到所述语义mask。

3.根据权利要求2所述的方法，其特征在于，在通过encode模块对所述图像进行卷积计算之前，所述方法包括：

通过spacetodepth将所述图像的尺寸缩小，并将所述图像的空间分辨率变成通道数。

4.根据权利要求2所述的方法，其特征在于，所述通过decode模块对每层block输出的卷积参数进行计算，输出mask基准还包括：

通过FPN对每层Block输出的卷积参数进行上采样，得到特征图信息。

5.一种基于深度学习的AR人像拍照系统，其特征在于，所述系统包括：

语义分割模块，用于获取带有人像的图像，通过语义深度神经网络对所述带有人像的图像进行人体语义分割，得到语义mask；

深度估计模块，用于通过带有深度分支的语义深度神经网络对所述带有人像的图像进行深度估计，得到人体像素的深度，确定所述图像中人像和虚拟内容的相对遮挡关系；

图像融合模块，用于对所述语义mask进行腐蚀膨胀和高斯滤波处理，并通过导向滤波将已经确定相对遮挡关系的人像和虚拟内容进行融合，得到融合图像。

6.根据权利要求5所述的系统，其特征在于，

所述语义分割模块，还用于通过encode模块对所述图像进行卷积计算，输出得到卷积参数，

通过decode模块对每层Block输出的卷积参数进行计算，输出mask基准，

通过所述卷积参数对所述mask基准进行卷积操作，得到所述语义mask。

7.根据权利要求6所述的系统，其特征在于，所述系统还包括图像处理模块，在通过encode模块对所述图像进行卷积计算之前，

所述图像处理模块，用于通过spacetodepth将所述图像的尺寸缩小，并将所述图像的空间分辨率变成通道数。

8.根据权利要求6所述的系统，其特征在于，

所述语义分割模块，还用于通过FPN对每层Block输出的卷积参数进行上采样，得到特征图信息。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至4中任一项所述的基于深度学习的AR人像拍照方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至4中任一项所述的基于深度学习的AR人像拍照方法。