[发明专利]基于点线特征融合的三维重建方法及电子设备

说明书

本申请公开了一种基于点线特征融合的三维重建方法及电子设备，涉及图像处理技术领域，该方法包括：电子设备可以获取到包括有物体1的多张图像，上述多张图像可以被称为图像集。该图像集中的各图像可以显示出不同状态（例如，角度、方位、时间、光照等）的物体1。电子设备可以通过指定算法从上述图像集中提取出特征点（也可以被称为点特征）和特征线（也可以被称为线特征），然后，电子设备可以对图像集中两两图像间已提取出的特征点和特征线进行匹配，并基于已建立匹配关系的特征点和特征线构建出物体1的三维模型。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于点线特征融合的三维重建方法及电子设备。

背景技术

随着终端技术的发展和人们处理信息能力的提高，二维图像已经不能满足工作和生活的需要。相较于二维图像，三维模型对于人类来说是最为直观的结构，并且基于三维角度观察物体和环境可以使得人们高效率地处理信息。因此，三维重建成了图像处理技术领域的热点之一，其为三维物体建立了适合计算机表示和处理的数学模型，使得电子设备可以在计算机环境下对物体进行处理、操作和分析。目前，基于运动结构恢复（structurefrom motion，SFM）算法重建物体的三维模型是一种常用的方式。该方式可以通过搜集一系列无序的图片并从其中提取充足的特征点进行分析来重建物体的三维模型。

然而，当图像中包括弱纹理区域或无纹理区域（例如，仅有白墙的走廊、纯色背景的房间等等），现有的SFM算法仅能从图像中提取到少量的特征点，因此会造成物体三维模型的重建效果较差，甚至难以重建物体三维模型的问题。

发明内容

本申请提供了一种基于点线特征融合的三维重建方法及电子设备，实现了基于已建立匹配关系的特征点和特征线构建出物体的三维模型，提高了三维模型构建过程的稳定性和效率，也提升了三维模型的构建精度。尤其是针对于包括弱纹理区域或无纹理区域（例如，仅有白墙的走廊、纯色背景的房间等等）的图像，该方法可以方便高效地构建出对应的三维模型。

第一方面，本申请提供了一种基于点线特征融合的三维重建方法，包括：电子设备获取包括第一物体的多张图像，其中，该多张图像中包括第一图像、第二图像和第三图像。该电子设备提取出该第一图像中该第一物体上的特征点和特征线，以及该第二图像中该第一物体上的特征点和特征线。该电子设备确定出该第一图像和该第二图像中特征信息相同的特征点对和特征线对。该电子设备基于该第一图像和该第二图像构建出该第一物体的三维模型。该电子设备提取出该第三图像中该第一物体上的特征点和特征线，确定出与该特征点对特征信息相同的第一特征点，以及与该特征线对特征信息相同的第一特征线。该电子设备基于该第一特征点、该第一特征线和该第三图像中该第一物体上的特征点和特征线，更新该三维模型。该电子设备调整基于该第三图像在该三维模型中生成的三维点的坐标和三维线段的坐标。其中，调整后的基于该第三图像在该三维模型中生成的三维点和三维线段对应的重投影误差之和小于第一阈值。其中，该重投影误差的计算，基于该第三图像在该三维模型中生成的各三维点和对应特征点的映射关系，以及基于该第三图像在该三维模型中生成的各三维线段和对应特征线的映射关系。该电子设备输出调整后的该三维模型。其中，该三维模型包括稀疏三维点云和三维线段。

这样，提高了三维模型构建过程的稳定性和效率，也提升了三维模型的构建精度。尤其是针对于包括弱纹理区域或无纹理区域（例如，仅有白墙的走廊、纯色背景的房间等等）的图像，该方法可以方便高效地构建出对应的三维模型。

在一种可能的实现方式中，该电子设备基于该第一图像和该第二图像构建出该第一物体的三维模型，具体包括：该电子设备以该第一图像为标准建立三维坐标系。该电子设备基于该特征点对和该特征线对，获取到该第二图像的位姿。该电子设备基于该第一图像中该第一物体上的特征点和特征线，该第二图像中该第一物体上的特征点和特征线，以及该第二图像的位姿，在该三维坐标系下构建出该第一物体的三维模型。这样，可以提高了三维模型构建过程的稳定性和效率，也提升了三维模型的构建精度。