[发明专利]一种面向目标对象的主动式三维重建方法

说明书

本发明属于计算机视觉技术领域，提供了一种面向目标对象的主动式三维重建方法，具体包括以下两个模块：视角动态预测模块和目标自主重建模块；两个模块都进行如下步骤：模块输入、模块架构和训练方法。本发明为了解决传统三维目标重建易受环境因素干扰、效率低下以及难以实现自主性的技术难题，设计了一个基于深度学习技术的三维目标自主重建框架及软件平台，能够对给定的目标，动态规划扫描视角，并同时结合不同视角下的图片，完成目标三维模型的构建。

技术领域

本发明属于计算机视觉技术领域，尤其涉及基于深度学习的对单个目标进行自主三维重建的方法。

背景技术

随着SLAM技术(Simultaneous Localization and Mapping)的发展，室内场景的三维重建方法日趋成熟。三维重建一般包含三部分，首先使用手持相机对待重建目标进行多个视角的扫描，然后对扫描到的多帧图片进行特征的提取、匹配、与相机位姿估算，最后通过立体视觉技术完成二维像素到三维坐标点的映射，得到最终重建的模型。然而，在以往的工作中，对目标的扫描往往采用的是一种“无死角”的扫描，即扫描要覆盖目标的每一局部结构，效率低下的同时也导致了对某一目标的扫描路径规划无法适用于其他类型，为扫描的自主性带来挑战。因此，一种能够在重建过程中自主规划扫描视角的高效重建方法是当前待攻克的技术难关，也是本专利的发明动机。接下来详细介绍这一领域中相关的背景技术。

(1)三维重建技术

早在2010年，华盛顿大学与微软实验室，开发了基于SIFT(尺度不变特征变换)特征匹配定位及TORO(Tree-based Network Optimizer)优化算法的实时视觉SLAM(即时定位与地图构建)系统，通过这一实时系统，能够建立出场景的三维地图。随后有诸多工作在实时性、位姿估计上做了改进，包括RGBD-SLAM算法、KinectFusion、BundleFusion等，基本满足了场景重建与用户交互的实时性。

然而这些算法都要不可避免地面临以下几个问题：第一，算法需要稠密的视角，而实际计算中却跳过大部分视角，使得信息的获取效率低下，且无法应用在有较多遮挡的场景中；第二，算法需要假定场景中目标没有镜面反射，同时拥有丰富的纹理，来满足对图片的特征提取；第三，尽管使用了多种优化策略，相机配准误差的累积问题依然存在。

为了解决上述问题，Choy等人将深度学习引入了目标的三维重建工作，提出了三维的循环神经网络，通过搭建三维的隐藏层状态，来接收多个视角下拍摄的图片，同时隐性表示当前重建的几何结构，从而建立了单视角与多视角联合的三维重建框架，在单视角和多视角(小于20视角)都能表现出超越传统方法的效果。

深度学习技术的应用为三维重建开启了新思路，相比传统方法，使用更少的视觉输入，能够处理复杂的环境因素，传统方法与深度学习思想的结合可能是未来三维重建领域的一个新导向。

(2)三维信息的自主采集

机器人在一个随意的视角下面对未知的目标，基于当前的观察来主动预测下一个观察视角，并基于下一个视角的观察来估计视角，这样一个连续的视角预测可以帮助机器人主动感知感兴趣的信息，完成相应的视觉任务。通过消费级相机对周围环境进行主动感知，并将获取的环境信息数字化是机器人领域内待攻克的技术难关。在以往的工作中，往往通过在一些规则的约束来使接收信息最大化。常用方法包括熵减少，不确定性减少，蒙特卡罗采样，高斯过程回归等。

近年来也有利用深度学习的方法来预测视角的选择，比如使用深度置信网络估计视角的信息增益、基于增强学习的视觉注意力模型等。其中指的强调的是徐凯等人的三维目标自主识别工作。该工作过结合多视角卷积神经网络[24]和循环注意力模型，实现了目标识别过程中对深度数据的主动获取，并在随后的工作中引入空间迁移网络，实现了端到端的学习。该方案的主动感知体现在对于当前视角获得的视觉观察，能够预测出下一个最佳的视角，实现了基于视觉反馈的视角预测，使机器人能够自主完成目标的识别。