[发明专利]图像三维重建方法及装置

说明书

本公开实施例公开了一种图像三维重建方法及装置，其中，方法包括：对至少两个待重建图像进行特征提取和特征匹配，得到至少两个待重建图像的匹配点集合；根据匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，以及两个相机坐标系中的无穷远单应矩阵，确定至少两个待重建图像之间的旋转矩阵；基于旋转矩阵、匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，通过对极约束算法确定至少两个待重建图像之间的平移矩阵；基于旋转矩阵和平移矩阵，对至少两个待重建图像进行三维重建。本公开实施例可以根据待重建图像的近似无穷远单应矩阵的求解，计算出旋转矩阵，进而根据旋转矩阵计算平移矩阵，得到最终的位姿，实现三维重建。

技术领域

本公开涉及计算机视觉和图像处理技术领域，尤其涉及一种图像三维重建方法及装置。

背景技术

基于运动的建模(Structure From Motion，简称为SFM)是一种传统的三维重建技术，其工作流程为：预先提取和匹配两幅图像中的特征点，根据对极几何约束，求解基础矩阵F以及本质矩阵E，从而计算两图像之间的位姿[R|T]；通过三角形法利用基础矩阵、两图像之间的位姿[R|T]，求得二维像素点映射到三维空间的投影矩阵，进而通过光束法平差利用特征匹配点对投影矩阵进行迭代优化，得到特征点的三维空间坐标，得到稀疏点云模型，实现三维重建。

采用现有SFM实现三维重建时，如果两幅图像中匹配的特征点共面，则可导致不能求解基础矩阵F以及本质矩阵E，需要求解单应矩阵H。在图像中存在大量特征点为远景特征的场景(比如在室内的阳台处拍摄的室外全景图片)中，由于远景特征点的数量远多于近景特征点的数量，导致求解基础矩阵F以及本质矩阵E时易陷入退化而失败，而这些远景特征点满足近似无穷远单应H_∞，但近景特征点不满足，因此基于H_∞只能确定旋转矩阵R，而不能计算平移矩阵T，进而不能得到最终位姿，导致三维重建效果比较差。在实际的应用场景中，当图像中包含较多远景信息，并且在多幅图像中远景信息包含有更多的匹配特征点时，进行全景图像拼接的操作就显得很困难，经常出现全景图像的拼接错位，给展示端带来很大的困扰。

发明内容

本公开实施例所要解决的一个技术问题是：提供一种图像三维重建方法及装置。

根据本公开实施例的一个方面，提供一种图像三维重建方法，应用于至少两个待重建图像满足远景图像条件的图像三维重建场景中，所述方法包括：

对所述至少两个待重建图像进行特征提取和特征匹配，得到所述至少两个待重建图像的匹配点集合；

根据所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，以及两个相机坐标系中的无穷远单应矩阵，确定所述至少两个待重建图像之间的旋转矩阵；

基于所述旋转矩阵、所述匹配点集合中至少一对匹配点在对应相机坐标系中的坐标，通过对极约束算法确定所述至少两个待重建图像之间的平移矩阵；

基于所述旋转矩阵和所述平移矩阵，对所述至少两个待重建图像进行三维重建。

在本公开一实施例中，所述确定所述至少两个待重建图像之间的旋转矩阵之前，还包括：

基于单应矩阵的求解算法，计算两个相机坐标系中无穷远单应矩阵。

在本公开又一实施例中，所述基于单应矩阵的求解算法，计算两个相机坐标系中的无穷远单应矩阵，包括：

基于式(1)确定单应矩阵：

其中，H表示单应矩阵，K′和K分别表示所述至少两个待重建图像对应摄像装置的内参矩阵，R表示旋转矩阵，T表示平移矩阵，n表示两个摄像装置在采集目标平面的图像信息时，所述目标平面在第一相机坐标系中的单位法向量，n^τ表示对进行转置运算，表示所述目标平面到第一相机坐标系的坐标原点的距离；