[发明专利]一种图像虚化处理方法及电子设备

说明书

本申请提供一种图像虚化处理方法及电子设备，用于优化图像虚化效果。该方法应用于电子设备，电子设备上设置有第一相机和第二相机，第一相机为双目相机或多目相机，第二相机为ToF相机或结构光相机，方法包括：同时启动第一相机和第二相机对第一场景执行拍摄操作，第一相机获取第一场景对应的RGB图像和第一深度图像，第二相机获取第一场景的深度信息；利用第一场景的深度信息对第一深度图像进行稠密化处理，得到第二深度图像，第二深度图像中的无效像素点的数量少于第一深度图像中的无效像素点的数量；利用第二深度图像对RGB图像进行前后景分割；对RGB图像中的后景图像或前景图像进行虚化处理，得到后景或前景虚化效果的RGB图像。

技术领域

本申请涉及终端技术领域，尤其涉及一种图像虚化处理方法及电子设备。

背景技术

拍摄带有背景虚化效果的图像可以突出图像中的关键事物而忽略其它的陪衬事物，常用于肖像、艺术品等摄影。

目前，被广泛使用的手机、平板电脑等具备拍照功能的电子设备，可以在图像拍摄后期对已拍摄的图像进行模拟单反相机的大光圈处理来达到一定的虚化效果，但现有技术对图像的虚化效果较差，存在前景被误虚化、前景边缘效果差或背景闪烁等问题。

发明内容

本申请实施例提供一种图像虚化处理方法及电子设备，用于解决现有技术中电子设备对图像进行虚化处理效果差的技术问题。

第一方面，本申请实施例提供一种图像虚化处理方法，该方法应用于电子设备，所述电子设备上设置有第一相机和第二相机，其中所述第一相机为双目相机或多目相机，所述第二相机为飞行时间ToF相机或结构光相机，该方法包括：响应于第一指令，启动所述第一相机和所述第二相机对第一场景执行拍摄操作，所述第一相机获取所述第一场景对应的红绿蓝RGB图像和第一深度图像，所述第二相机获取所述第一场景的深度信息；利用所述第一场景的深度信息对所述第一深度图像进行稠密化处理，以对所述第一深度图像中的无效像素点进行补充，得到第二深度图像，其中所述第二深度图像中的无效像素点的数量少于所述第一深度图像中的无效像素点的数量；利用所述第二深度图像对RGB图像进行前后景分割，得到前景图像和后景图像；对所述后景图像或所述前景图像进行虚化处理，得到后景或前景虚化效果的RGB图像。

本申请实施例中，在第一相机拍摄第一场景的第一深度图像时，同时控制第二相机对第一场景进行拍摄，基于第一相机获得第一场景的RGB图像和第一深度图像，基于第二相机获取高精度的第一场景的深度信息，然后利用第二相机获取的高精度的深度信息对第一相机拍摄的第一深度图像进行稠密化处理得到第二深度图像，第二深度图像的精密度高于第一深度图像(也即第二深度图像中的无效像素点少于第一深度图像中的无效像素点)，之后再利用高精度的第二深度图像对RGB图像进行前后景的分割，这样可以提高RGB图像前后景边缘识别的精准度，即便在图像前后景纹理、颜色等相似的场景下，也能够得到良好的边缘分割效果，提高图像的虚化效果。

在一种可能的设计中，在对RGB的前后景进行分割时，还可以在第二深度图像的基础上结合训练好的卷积神经网络CNN模型对RGB图像中的前后景进行分割；其中，所述训练好的CNN模型的输入为被拍摄主体为特定类型主体的RGB图像，例如人像，所述训练好的CNN模型的输出为该图像中被拍摄主体对应的图像部分，即人像图。

本实施方式，当被拍摄主体为特定类型主体的图像时，还进一步结合CNN来识别特定类型的被拍摄主体，智能分割前后景，进一步提高前后景分割的准确性，优化前后景边缘分割效果，以达到不同的虚化效果。

在一种可能的设计中，可以根据第二深度图像对所述后景图像进行虚化处理，使得所述后景图像中深度值越大的像素区域对应的虚化程度越高，然后将前景图像和虚化后的所述后景图像进行融合，得到背景虚化效果的RGB图像。

这样，可以使得RGB图像背景中景深越大的地方虚化的强度可以更高，使得虚化效果更加接近真实的光学虚焦效果，提高用户的视觉体验。