[发明专利]一种针对单视角深度图的实时形状补全和姿态估计方法

说明书

本发明提供了一种直接针对单视角深度图的实时形状补全和姿态估计方法，包括：输入单视角的深度图；将深度图经过坐标转换，计算为点云数据；利用PointSIFT方法分割得到场景中待重建对象的局部点云数据；采用两个分支网络，一支输出刚性对象的SPL或非刚性对象的Joints；另一分支则输出隐式形状编码；将第一分支的点列输出卷积编码输出隐式姿态编码；将隐式形状以及姿态编码矩阵按位做相乘，得到形状‑姿态空间的混合编码；将混合编码输入到由转置卷积组成的解码网络，经过多层卷积后，输出三维对象在该姿态下的完整结构预测。本发明能够由局部缺乏结构的对象点云中获得刚性与非刚性对象的完整形状和姿态信息，实时高效。

技术领域

本发明属于图像处理技术领域，涉及计算机视觉、计算机图形学，具体涉及一种针对单视角深度图的实时形状补全和姿态估计方法。

背景技术

随着近年来扫描设备的普及以及无人驾驶、无人机摄影等应用的民用化，点云数据成为最为易获取、设备直接产生的三维对象几何特征表示。尽管设备普及、数据量巨大，然而由于点云数据的稀疏性和内部无序性，针对点云数据、尤其是单视角点云数据的对象建模和分析算法却明显不足。传统方法更多选择首先对点云数据估计法向量、曲率等额外特征，之后将其转化为包含特定点顺序的网格或顺从规则栅格采样的体素等表示后，进行处理。这样作虽然有效避免了点云数据的无序性和稀疏性，但也给实际需要实时应用的场景，如无人驾驶车在实时路况决策、无人机的实时建模增加了额外的时间开销。因此，在不进行三维对象表示方法转化的前提下，面向点云开发出实时高效的形状补全、姿态估计方法，具有重要的实际意义。

到目前为止，基于模型优化和基于数据驱动学习的方法均取得了一些研究成果。主要包括：

1)利用多视角或基于时间序列的点云数据，对三维对象进行形状重建和姿态估计。该方法在Kinect等设备中应用较多，但是对由于基于时空序列，因此很大依赖于被拍摄或扫描的对象在拍摄过程中保持不变，无论是非刚性还是刚性变换，都会影响重建结果。

2)利用单一视角，建立传统优化模型，对三维对象进行形状重建和姿态估计。该方法表现出了很好的结果，但是它们均基于一个假设，即潜在待恢复的表面是平滑的，而算法本身在改变对象或拍摄条件之后，也需要仔细的调整超参数。这些弊端都限制了它们的应用场景。

3)利用单一视角，数据驱动的方法，有效学习出局部点云数据中提取特征，实现三维对象进行形状重建和姿态估计。该方法随着近年来深度学习的流行而被不少机构尝试和应用分析点云。部分算法虽然没有显式的进行表示变化，但是在点云中引入了八叉树(Octree)或多维树(K-dTree)对点云进行空间管理，再将深度学习中的卷积分层次应用于每个划分空间。更具开创性的工作来自Pointnet系列算法，它们简单地在网络中引入对输入点云顺序鲁棒的“对称函数”，实现从无序点云中分析出内在特征。但是这些方法，就目前为止，仅仅将应用局限于对完整三维对象进行识别、分割，或从特定视角的单张RGB图中提取三维对象，而并未应用在对缺失结构信息的局部点云进行形状补全以及更进一步的姿态估计的应用之中。

综上所述，现有方法具有缺陷，尚无令人满意的解决方案。

发明内容

为解决上述问题，本发明旨在提供一种直接针对单视角深度图的实时形状补全和姿态估计方法。

为了达到上述目的，本发明提供如下技术方案：

一种直接针对单视角深度图的实时形状补全和姿态估计方法，包括如下步骤：

步骤1.输入单视角的深度图；

步骤2.将深度图通过已知的相机内参，经过坐标转换，计算为点云数据；

转换过程通过下面的公式：