[发明专利]单目视频场景三维结构的多视角一致的平面检测解析方法

摘要

本发明公开了单目视频场景三维结构的多视角一致的平面检测解析方法，步骤：输入单目视频提取关键帧并生成包含噪音的半稠密点云；在关键帧图像中提取二维线段，将二维线段反投影到三维空间中得到对应的点云；将单帧提取得到的线段投影到其他关键帧中，根据多视角一致的约束，过滤掉点云中的噪音点，得到满足约束的点云，拟合点云得到三维线段；根据线线相交必然位于同一个平面中的约束，从三维线段中提取相交线段并构建平面，从而通过多视角一致约束从包含噪音的三维点云中检测解析得到单目视频场景中的平面；根据用户需求将重建得到的平面应用于增强现实中。本发明在平面重建、虚实融合等方面有良好的表现，可广泛应用于增强现实领域。

主权项

1.单目视频场景三维结构的多视角一致的平面检测解析方法，其特征在于包括如下步骤：/n步骤S100，输入单目视频，提取关键帧并计算关键帧视角下的相机位姿，根据关键帧帧间连续性生成包含噪音的关键帧深度图，并根据所述深度图生成包含噪音的半稠密点云；/n步骤S200，在关键帧中提取二维线段，延长二维线段，合并那些延长后相交且方向相近、距离相近的二维线段；将经过合并后得到的二维线段反投影到三维空间中，从所述半稠密点云中提取得到所述合并后得到的二维线段上像素点对应的点云，得到二维线段在所述关键帧上的相关点云，从而根据关键帧得到关键帧上的一条线段，其由两部分组成：从关键帧提取得到的二维线段和其对应的三维点云；/n步骤S300，将关键帧命名为源关键帧，将源关键帧上的线段命名为源线段，将欲投影的相邻关键帧命名为目标关键帧，若源线段的三维点云在目标关键帧上投影落在目标关键帧上的一条线段的二维线段上，将目标关键帧上的这条线段命名为目标线段，且该目标线段上的三维点云投影到源关键帧上时三维点云的投影也落在源线段上时，称此源线段和目标线段满足多视角一致的约束，二者为相关线段；源线段和目标线段的三维点云落在彼此上的点云构成相关线段的三维点云，其余点云被视为噪音点云将被抛弃，从而利用多视角一致约束从包含噪音的点云中过滤掉噪声点，得到满足关键帧之间满足多视角一致约束的相关线段；将相关线段在后面的多个关键帧上继续寻找满足多视角一致约束的线段构成新相关线段，得到在多个连续的关键帧上满足多视角一致约束的相关线段后，拟合该相关线段的三维点云，得到一条准确的三维线段；对以后的关键帧直接投影该三维线段，寻找属于该三维线段的点云更新三维线段，在处理完所有关键帧后将过滤掉重复的三维线段；/n步骤S400，根据线线相交必然位于同一个平面中的约束，从拟合得到三维线段中提取相交三维线段构建平面，同时搜索生成的三维线段得到属于同一平面的所有三维线段，对于同一个平面上的点云中利用RANSAC方法得到点法式平面的参数，从而从包含噪声的三维点云中通过多视角一致约束检测解析得到单目视频场景中的平面；/n步骤S500，根据场景中重建得到的平面和相机位姿，根据用户需求将虚拟三维模型注册进入视频中，按照用户需求完成增强现实。/n