[发明专利]图像处理方法及电子设备

说明书

本申请实施例提供了一种图像处理方法及电子设备。在该图像处理方法中，针对存在无效深度值的深度图像，电子设备首先将其转换为点云图像，并对该点云图像进行修复，再将修复后的点云图像转换回深度图像，以此实现对深度图像的校正，提高深度图像的精准度。

技术领域

本申请涉及智能终端技术领域，尤其涉及一种图像处理方法及电子设备。

背景技术

深度图像（depth image）是指将从图像采集器到场景中各点的垂直距离（深度）作为像素值的图像。深度图像直接反映了物体可见表面的几何形状，是物体的三维表示形式。其中，深度图像可以通过飞行时间（Time of Flight，TOF）相机获取。但是，通过TOF相机获取的深度图可能会存在误差。

发明内容

为了解决上述技术问题，本申请实施例提供一种图像处理方法及电子设备。在本方法中，基于点云图像修复的方式实现对深度图像的校正，以此提高深度图像的精准度。

第一方面，本申请实施例提供一种图像处理方法。其中，该方法包括：电子设备获取第一深度图像；其中，第一深度图像中目标像素点的深度值为无效值；电子设备将第一深度图像转换为第一点云图像；电子设备对第一点云图像进行修复，得到第二点云图像；电子设备将第二点云图像转换为第二深度图像。这样，实现了基于点云像修复的方式达到了校正深度图像的效果，提高了深度图像的精准度。

其中，第一深度图像可以理解为待校正的深度图像，在该深度图像中存在深度值为无效值的像素点。相应的，第二深度图像可以理解为与第一深度图像对应的已校正深度图像。

其中，第一点云图像，可以理解为待修复的点云图像。例如可以采用孔洞修补的方式实现对第一点云图像的修复。相应的，第二点云图像可以理解为是与第一点云图像对应的已修复点云图像。

根据第一方面，电子设备在获取第一深度图像之前，还包括：电子设备获取第三深度图像，以及与第三深度图像对应的红外图像；其中，第三深度图像和红外图像是通过第一TOF相机采集的，第一TOF相机设置于电子设备的显示屏下；电子设备使用衍射光斑模板集合，在红外图像上进行多目标模板匹配，确定匹配成功的目标衍射光斑模板；电子身边将第三深度图像目标区域中像素点的深度值设置为无效值，得到第一深度图像；其中，目标区域为与目标衍射光斑模板匹配成功的区域。

这样，在由于发生衍射而导致深度图像不精准的情况下，可以基于点云像修复的方式对衍射区域像素的深度值进行校正，以此提高深度图像的精准度。

其中，第三深度图像可以理解为通过屏下TOF相机直接获取的深度图像，此时第一深度图像是对第三深度图像进行处理后得到的图像。在第一深度图像中，衍射区域像素点的深度值被设置为无效值。

其中，衍射光斑模板集合中包括大量的衍射光斑模板，每个衍射光斑模板用于描述一种衍射情形。红外图像中能够与衍射光斑模板匹配成功的目标区域即为需要深度值校正的衍射区域。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备在确定匹配成功的目标衍射光斑模板之后，还包括：电子设备统计目标衍射光斑模板中的衍射像素点数量。相应的，电子设备将第三深度图像目标区域中像素点的深度值设置为无效值，可以包括：如果目标衍射光斑模板中的衍射像素点数量未超过预设数量阈值，则电子设备将第三深度图像目标区域中像素点的深度值设置为无效值。

由于衍射光斑模板中的衍射像素点数量可以用于指示衍射程度，衍射像素点数量越大，衍射程度越严重。因此，在红外图像能够与衍射光斑模板匹配成功的情况下，只有匹配成功的衍射光斑模板中的衍射像素点数量未超过预设数量阈值时，也即红外图像中涉及的衍射情况不太严重时，才基于点云像修复的方式对衍射区域像素的深度值进行校正，以此保证深度图像的校正效果，避免出现深度图像校正无效的问题。