[发明专利]Android移动端室内场景三维重建及语义分割方法

权利要求书

1.一种Android移动端室内场景三维重建及语义分割方法，其特征在于包括：

步骤A、三维重建

步骤A1、获得图像的深度图信息、RGB信息以及加速度信息；

步骤A2、利用Renderscript框架所提供的异构硬件加速api，实现三维重建中需要密集计算的体素融合和表面提取,以及帧与模型之间匹配的ICP与直接法的单像素贡献计算；

步骤A3、利用Androidneon技术针对于计算好的单像素贡献进行快速累加，实现对于相机姿态估计的迭代优化，快速得到估计准确的当前帧相机姿态；

步骤A4、将深度图的四角根据计算出的当前帧姿态映射到TSDF模型中，获得在TSDF模型中的boundingbox，仅在boundingbox中进行模型融合；

步骤B、语义分割

步骤B1、针对于低纬度的细节边缘信息丰富的图像与高纬度的综合全局信息和巨大感受野的图像进行分别处理融合；

步骤B2、利用attention机制，针对于拼接后的各个通道信息进行权重提取；

步骤B3、将体素模型中每个体素位置根据三维重建的相机姿态投影到二维语义分割像素结果上得到自己的语义分割。

2.根据权利要求1所述的Android移动端室内场景三维重建及语义分割方法，其特征在于，所述步骤A1中，利用带有Tof相机的移动端的Android设备进行室内场景扫描，通过Android相机中的Tof相机采集深度图信息以及RGB信息，通过IMU惯性测量设备得到角速度以及加速度信息。

3.根据权利要求2所述的Android移动端室内场景三维重建及语义分割方法，其特征在于，所述步骤A1中还包括：对每个像素的深度进行截断，然后对于深度图进行双边滤波去噪。

4.根据权利要求1所述的Android移动端室内场景三维重建及语义分割方法，其特征在于，所述步骤A2中，在提取模型表面时，从当前帧每个像素计算一条射线，射线沿着相机光心到该像素归一化平面点的方向进行运动，采用变速raycasting算法找到由正值变为负值的体素位置，通过三线性插值得到该像素所对应的点云位置以及RGB颜色信息，所述变速raycasting算法如下：若当前体素的TSDF的值为空时，则当前的raycasting射线快速运动，直到进入存有有效TSDF模型值的区域，在进入存有有效TSDF模型区域后，若有效的TSDF的值为负数，说明在模型背面因而舍弃该射线，若为正值，则降低raycasting射线的速度寻找TSDF值为0的点得到模型表面。

5.根据权利要求1所述的Android移动端室内场景三维重建及语义分割方法，其特征在于，所述步骤B1中：

对于RGB的高分辨率局部空间信息提取，采用两个shortcut的bottleneck级联的方式设计网络，通过bottleneck模块快速提取得到整个图像的细节特征；

对于RGB图像的高分辨率大感受野信息的提取，backbone选择mobilenetv2，同时利用全局平均池化获取全局结构信息，与下采样32倍和16倍的特征图进行混合，得到RGB高分辨率大感受野的空间信息；

对于深度图像采用与RGB图像提取低分辨率局部空间信息相同的网络结构，利用多通道和浅层网络来保留丰富的空间信息生成高分辨率的特征。