[发明专利]一种结合物体级特征约束的室内场景重构方法

说明书

本发明提出了一种结合物体级特征约束的室内场景重构方法，包括以下步骤：根据相机姿态解耦合估计算法，利用纹理图像信息对旋转矩阵进行估计，实现旋转矩阵与深度噪声分离；根据基于点与平面特征的局部子图融合算法，基于流形空间，发展一种新的平面参数化方法，解决过参数化和局部最小值问题；根据结合物体级特征约束算法，进一步利用深度神经网络检测技术将可利用信息扩展至物体级特征；以ORB‑SLAM2为点跟踪模块，根据建立包含点特征、物体外包矩形信息、平面信息的联合观测约束框架，拓展传统光束法平差模型仅最小化重投影误差的情形，集成形成结合物体级特征约束的室内场景快速构建能力。

技术领域

本发明涉及一种室内场景重构方法，特别是一种结合物体级特征约束的室内场景重构方法。

背景技术

深度图像的滤波方面主要是对深度图进行去伪影、平滑相似区域、删除离群点以及提高深度图边界精度。在深度不连续的位置，深度图会出现模糊，双边滤波方法是一个在图像处理方面保边去噪的常用方法。Kopf等利用联合双边滤波来减少噪声。Mueller等提出一种自适应联合三边滤波算法，在滤波权重方面，该算法考虑了选择立体匹配算法的置信度量问题，结合立体图像对深度图像滤波。但是略有不足的是他们都没有考虑到丢失的深度数据，也没有考虑到Kinect获取深度图的时间相关性。

深度图空洞填充是一种极具挑战的任务，特别是在基于立体视觉系统产生的视差图中。由于遮挡的存在，未知视差值的区域总会产生，从而导致空洞的产生。为了减少遮挡问题的影响，Deng等提出能量最小化框架下的立体匹配算法。Wan等利用两视图几何方法去填充丢失的深度信息。为了产生3DTV（三维电视）的内容，人们在深度图绘制的应用中提出了相似的问题：从一幅深度图中产生了多帧虚拟视图以便于修复产生的空洞。在一些图像修复算法中，由两个视差图产生的补充信息来恢复丢失的信息。上述空洞修复方法主要缺点之一是这些方法与立体视觉或多目视觉有关，通过相同场景下不同视点的图像（视觉信息）结合在一起来推断出丢失的信息。对于具有RGB-D图像的空洞修复方法研究，无法直接采用先前的方法，因为这种深度传感器获取的既有深度信息又有视觉信息。由于最近发表的基于深度传感器的相关论文，主要集中在特定的像动漫、体感游戏等应用开发方面，而在噪声去除方面研究的较少。Matyunine等提出了特殊的基于时空中值滤波的深度图去噪声方法，它是通过运动向量信息来实现的。但空洞修复由中值滤波来实现，而中值滤波考虑的仅仅是在颜色域内的相似性像素。另外，与上述方法相似的，Patel等构建了一个以识别为目的的3D物体数据集，其中一个尺度为5×5递归中值滤波用于空洞修复。因此上述方法存在的问题是：由于没有考虑视觉信息，基于中值滤波的方法表现出的性能具有相当的局限性，并且插入的新的深度值仅取决于空间位置，这将导致产生的深度图不精确。因此研究更为有效的去噪和空洞修复算法，是实现高效率、高质量三维重建效果的一个关键所在。

目前，针对TOF摄像机捕捉的深度图像，许多学者对增加深度图的分辨率进行了深入研究。对于增强由深度扫描仪或TOF摄像机产生的深度图分辨率，主要有基于插值方法或基于图形的方法；在一定的假设下Garcia提出了一种基于MRF（Markov random field）的方法，它是在一定的假设条件下：场景中深度的不连续性随着场景的强度和亮度的变化而变化，即在一个邻域内，相似的区域强度则对应着相似的深度。但这种做法是片面的，它往往造成解的过平滑。然而，这些传感器是建立在TOF测量原理上的。Patra1et等提出了一种提高分辨率的方法，它充分利用了由RGB图像和HD（高精度）摄像机的视频图像获取的高分辨率信息，但并没有将深度图像考虑进去，与用几幅二维图像进行三维重建相比，本质上并没有区别。

摄像机标定方面，多视图几何（multiple view geometry）理论是一个值得关注的方面。它涉及相机自标定问题和确定相机位姿等几个关键技术，在计算机视觉中的贡献越来越突出，解决现实应用问题方面也比较实际有效，因此这个方向有可能给相机标定带来新的思路。