[发明专利]Android移动端室内场景三维重建及语义分割方法

说明书

本发明提出一种Android移动端室内场景三维重建及语义分割方法，通过Android的Renderscript框架完成三维重建中ICP部分、体素模型融合部分以及光线追踪算法部分的并行计算，利用移动端的IMU设备采集角速度以及加速度得到两帧之间的初始相机姿态变化估计，实现快速三维重建。通过设计轻量化的二维室内场景语义分割CNN网络，并根据三维重建中所计算得到的相机姿态将语义分割结果映射到三维体素空间从而完成对移动端三维重建模型的体素级别语义分割。由于仅仅使用了二维CNN使得整个网络模型参数大大减少，可以很方便的将语义分割的深度学习框架放置在普通的Android设备上，从而实现一整套的Android移动端三维重建与语义分割的解决方案。

技术领域

本发明涉及三维重建技术。

背景技术

在目前流行的三维重建技术过程中，大部分三维重建技术是需要在PC端利用GPU实现大规模的并行计算操作从而满足实时性的要求，而少数是针对于移动端的三维重建技术，或者是基于IOS系统上metal加速计算进行的三维重建，或者是基于Nvidia移动端的显卡利用cuda实现并行计算从而进行三维重建，而针对于普通的Android移动设备，目前尚未有有效的移动端三维重建方法的实现。

在当下的三维重建中，若仅仅利用Tof相机采集的视觉信息计算相机姿态，由于通常初始化为上一帧的相机姿态，使得整个ICP过程收敛迭代次数较多，且对于相对较大的偏移估计不够准确，如何加速ICP过程的计算速度是当下移动端三维重建技术的难点。

在当下针对于三维重建后模型的语义分割，由于三维CNN网络而言参数量过于庞大，网络模型很大，难于在移动端完成语义分割相关任务。

发明内容

本发明针对当前三维重建方法的局限性导致难以在Android移动端快速实现三维重建以及精确得到每一帧的相机姿态的问题，提出一种Android移动端室内场景三维重建及语义分割方法，包括如下步骤：

步骤A、三维重建

步骤A1、获得图像的深度图信息、RGB信息以及加速度信息；

步骤A2、利用Renderscript框架所提供的异构硬件加速api，实现三维重建中需要密集计算的体素融合和表面提取,以及帧与模型之间匹配的ICP与直接法的单像素贡献计算；

步骤A3、利用Androidneon技术针对于计算好的单像素贡献进行快速累加，实现对于相机姿态估计的迭代优化，快速得到估计准确的当前帧相机姿态；

步骤A4将深度图的四角根据计算出的当前帧姿态映射到TSDF模型中，获得在TSDF模型中的bounding box，仅在boundingbox中进行模型融合；

步骤B、语义分割

步骤B1、针对于低纬度的细节边缘信息丰富的图像与高纬度的综合全局信息和巨大感受野的图像进行分别处理融合；

步骤B2、利用attention机制，针对于拼接后的各个通道信息进行权重提取；

步骤B3、将体素模型中每个体素位置根据三维重建的相机姿态投影到二维语义分割像素结果上得到自己的语义分割。

进一步地，所述步骤A1中，利用带有Tof相机的移动端的Android设备进行室内场景扫描，通过Android相机中的Tof相机采集深度图信息以及RGB信息，通过IMU惯性测量设备得到角速度以及加速度信息。

进一步地，所述步骤A1中还包括：对每个像素的深度进行截断，然后对于深度图进行双边滤波去噪。