[发明专利]图像处理方法、装置、电子设备及存储介质

说明书

本公开是关于一种图像处理方法、装置、电子设备及存储介质，涉及计算机视觉技术领域，本公开方法包括：对包含人脸的目标图像进行人脸关键点检测；根据目标图像中人脸关键点的位置进行人脸三维重建，得到目标图像对应的人脸区域蒙版图以及人脸区域深度图；通过人脸区域蒙版图以及人脸区域深度图，构造目标图像对应的第一全图深度图；根据第一全图深度图中各像素点的深度值得到全图三维网格，并根据目标图像中各像素点的纹理信息对全图三维网格进行渲染得到目标图像对应的三维图像。由于本公开实施例中无需辅助传感器，仅用单目或单张人像图像就可构造出3D人像效果，更简便，且扩大了3D人像特效的应用场景。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着短视频、自拍美颜等应用的普及，3D(Three Dimensions，三维)人像特效作为人脸应用的一部分也逐渐应用起来，尤其在安全认证、影视动漫、医学科学等领域的应用非常广泛。

相关技术方案是通过辅助传感器，恢复出人像图像的深度图像，生成3D人像。辅助传感器包括双目摄像头，深度传感器(结构光)等。但是辅助传感器的存在限制了3D人像特效的应用，因为目前大部分手机拍摄的图像并没有类似的传感器数据，或是传感器数据质量太差。

综上，目前3D人像的生成需要借助辅助传感器，应用受限。

发明内容

本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中3D人像的生成需要借助辅助传感器，应用受限的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：

对包含人脸的目标图像进行人脸关键点检测；

根据所述目标图像中人脸关键点的位置进行人脸三维重建，得到所述目标图像对应的人脸区域蒙版图以及人脸区域深度图；

通过所述人脸区域蒙版图以及所述人脸区域深度图，构造所述目标图像对应的第一全图深度图；

根据所述第一全图深度图中各像素点的深度值得到全图三维网格，并根据所述目标图像中各像素点的纹理信息对所述全图三维网格进行渲染得到所述目标图像对应的三维图像。

在一种可选的实施方式中，所述通过所述人脸区域蒙版图以及所述人脸区域深度图，构造所述目标图像对应的第一全图深度图的步骤包括：

根据所述人脸区域蒙版图确定所述人脸区域深度图中的人脸区域以及所述第一全图深度图中的人脸区域；

将所述人脸区域深度图中人脸区域内的像素点的深度值作为所述第一全图深度图中人脸区域内对应位置的像素点的深度值；

根据所述第一全图深度图中人脸区域内像素点的深度值，确定所述第一全图深度图中非人脸区域内的像素点取不同深度值时对应的各个目标深度值中最小的目标深度值，其中所述第一全图深度图中非人脸区域内的像素点的深度值表示所述像素点对应的三维空间中的位置和拍摄所述目标图像的设备的距离；

确定所述第一全图深度图中非人脸区域内的像素点的深度值为最小的目标深度值对应的非人脸区域内的像素点的深度值。

在一种可选的实施方式中，通过下列方式确定所述目标深度值：

其中，X表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，C_j,i表示所述第一全图深度图中第j行第i列的像素点的深度值，C_j,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，C_j+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值。