[发明专利]Android移动端室内场景三维重建及语义分割方法

摘要

本发明提出一种Android移动端室内场景三维重建及语义分割方法，通过Android的Renderscript框架完成三维重建中ICP部分、体素模型融合部分以及光线追踪算法部分的并行计算，利用移动端的IMU设备采集角速度以及加速度得到两帧之间的初始相机姿态变化估计，实现快速三维重建。通过设计轻量化的二维室内场景语义分割CNN网络，并根据三维重建中所计算得到的相机姿态将语义分割结果映射到三维体素空间从而完成对移动端三维重建模型的体素级别语义分割。由于仅仅使用了二维CNN使得整个网络模型参数大大减少，可以很方便的将语义分割的深度学习框架放置在普通的Android设备上，从而实现一整套的Android移动端三维重建与语义分割的解决方案。

主权项

1.一种Android移动端室内场景三维重建及语义分割方法，其特征在于包括：/n步骤A、三维重建/n步骤A1、获得图像的深度图信息、RGB信息以及加速度信息；/n步骤A2、利用Renderscript框架所提供的异构硬件加速api，实现三维重建中需要密集计算的体素融合和表面提取,以及帧与模型之间匹配的ICP与直接法的单像素贡献计算；/n步骤A3、利用Android neon技术针对于计算好的单像素贡献进行快速累加，实现对于相机姿态估计的迭代优化，快速得到估计准确的当前帧相机姿态；/n步骤A4将深度图的四角根据计算出的当前帧姿态映射到TSDF模型中，获得在TSDF模型中的bounding box，仅在bounding box中进行模型融合；/n步骤B、语义分割/n步骤B1、针对于低纬度的细节边缘信息丰富的图像与高纬度的综合全局信息和巨大感受野的图像进行分别处理融合；/n步骤B2、利用attention机制，针对于concat后的各个通道信息进行权重提取；/n步骤B3、将体素模型中每个体素位置根据三维重建的相机姿态投影到二维语义分割像素结果上得到自己的语义分割。/n