[发明专利]一种结合物体级特征约束的室内场景重构方法

权利要求书

1.一种结合物体级特征约束的室内场景重构方法，其特征在于，包括以下步骤：

步骤1，根据相机姿态解耦合估计算法，利用纹理图像信息对旋转矩阵进行估计，实现旋转矩阵与深度噪声分离；

步骤2，根据基于点与平面特征的局部子图融合算法，基于流形空间，构建优化的平面参数化方法；

步骤3，根据结合物体级特征约束算法，利用深度神经网络检测技术将可利用信息扩展至物体级特征；

步骤4，以ORB-SLAM2为点跟踪模块，根据建立包含点特征、物体外包矩形信息和平面信息的联合观测约束框架，拓展光束法平差模型仅最小化重投影误差的情形，集成形成结合物体级特征约束的室内场景构建。

2.根据权利要求1所述的一种结合物体级特征约束的室内场景重构方法，其特征在于，步骤1中所述相机姿态解耦合估计算法包含以下步骤：

步骤1-1，建立多尺度窗口高斯混合不确定模型；

步骤1-2，建立新的不确定性模型；

步骤1-3，建立姿态解耦合估计算法。

3.根据权利要求2所述的一种结合物体级特征约束的室内场景重构方法，其特征在于，多尺度窗口高斯混合不确定模型基于深度观测不确定性分布的定量分析，结合独立象元不确定性及深度传感器误差分布特性，利用高斯混合将不同窗口邻域内的深度观测不确定性纳入多尺度窗口高斯混合不确定模型。

4.根据权利要求3所述的一种结合物体级特征约束的室内场景重构方法，其特征在于，步骤1-3中所述姿态解耦合估计算法包括以下步骤：

步骤1-3-1，使用纹理图像中视觉特征点信息，将旋转矩阵的估计从深度值噪声干扰中分离出来，在此基础上估计旋转矩阵；

步骤1-3-2，平移向量估计，结合深度图像中的观测信息，将平移向量的优化转换为对应的能量函数，方法如下：

上式中， 代表旋转矩阵，特征点的三维坐标和相机的姿态为待优化变量， 和为特征点在左右纹理图像上的投影点的像素值，m表示两帧之间的匹配的特征点的对数，K为相机的内方位元素，u和v表示图像的列号和行号， 为uv观测值的协方差矩阵。

5.根据权利要求4所述的一种结合物体级特征约束的室内场景重构方法，其特征在于，步骤2中所述基于点与平面特征的局部子图融合算法包含以下步骤：

步骤2-1，相机姿态精度优化；

步骤2-2，局部子图生成。

6.根据权利要求5所述的一种结合物体级特征约束的室内场景重构方法，其特征在于：步骤2-2中所述局部子图生成的融合目标函数如下所示：

其中， 和为旋转矩阵， 和 是第i组对应的图像块的锚点， 和 是l和l+1帧上第i组法向量， 是两帧之间对应的图像块数目，该能量函数是锚点沿着对应图像块法向量距离的度量；

基于平面参数化方法，利用点、图像块和平面作为观测信息来源生成局部子图；场景的全局结构通过局部子图融合的过程逐步恢复，最小化融合目标函数实现局部子图最佳融合调整；此增量式关联方式通过引进平面数据关联方法实现三维在线重建。

7.根据权利要求6所述的一种结合物体级特征约束的室内场景重构方法，其特征在于，步骤3中所述结合物体级特征约束算法包含以下步骤：

步骤3-1，局部平差优化；

步骤3-2，多约束条件联合优化；

步骤3-3，采用基于截断距离函数的点云融合方法对点云进行去噪和融合，提取三维模型。

8.根据权利要求7所述的一种结合物体级特征约束的室内场景重构方法，其特征在于，步骤3-1中所述局部平差优化采用两种平差方法：第一种在跟踪线程执行地图点不变，优化相机姿态变量的平差；第二种在新关键帧加入时执行局部窗口平差。