[发明专利]一种基于深度学习的自适应通道注意力三维重建方法

说明书

本发明是一种基于深度学习的自适应通道注意力三维重建方法，该方法通过卷积神经网络对图片进行特征提取，利用SE模块优化三维代价体正则化过程，并对网络进行训练。在DTU数据集上的实验结果表明，相比于传统方法和其他基于深度学习的方法，此网络在Comp和Overall两个方面都有了一定幅度的提升，同时，点云模型的可视化结果也有了明显改善。

技术领域

本发明属于日常用品的技术领域，特别涉及一种基于深度学习的自适应通道注意力三维重建方法。

背景技术

多视图立体视觉(Muti-view stereo,MVS)从重叠图像中估计物体的稠密表示，是计算机视觉领域近年来广泛研究的核心问题。传统方法使用手工提取的相似性度量和代价空间正则化(如归一化互相关和半全局匹配)计算密集对应和恢复三维点。如pmvs，colmap等通过提取手工特征，利用几何学方法得到每个像素的深度估计，虽然这些方法在理想的场景下取得了很好的结果，但它们都有共同的局限性，比如在一些弱纹理、镜面和反射区域等场景使密集匹配难以实现，且三维重建出来的效果较差，在完整性和综合表现方面还有待进一步的提升。

近年来，随着深度学习在各个领域的迅速发展，越来越多的研究者开始使用其代替传统方法，并且在三维重建方面取得了不错的效果。2018年，Yao等人[4]提出了一种基于深度学习的神经网络估计深度，网络在重建的完整性和整体准确度上都有了较大的提升，并且能在弱纹理的条件上获得较好的结果。基于深度学习的多视图三维重建主要问题是在三维代价体的正则化上，此前大多的网络利用三维卷积神经网络去正则化三维代价体，会消耗巨大的内存空间，立体视觉网络(multi-view stereo network,MVSNet)在参考相机上构建三维代价体，将其重建解耦成单视图深度估计的问题。但是当三维重建的物体图片分辨率增加后，MVSNet就会出现失败或耗费很长时间的问题。2019年，Luo等人提出了点立体视觉网络(point multi-view stereo network,P-MVSNet)，该网络提出了基于区域匹配置信的代价体，通过学习的方式将每个假想面上的特征匹配置信聚合变为一个向量而非常量，从而提高了立体匹配的准确度。同年，Yao等人在其提出的MVSNet基础上提出了循环立体视觉网络(recurrent multi-view stereo network,R-MVSNet)，该网络引入循环神经网络架构，依序在深度方向通过GRU单元正则化2D代价图(cost map)，以达到减小内存消耗、提升模型完整性的效果。2020年，Yu等人考虑到除了重建质量，效率也是现实场景中重建的一个重要因素，提出了快速立体视觉网络(fast multi-view stereo network,Fast-MVSNet)进行三维重建，这种方法是一种新的由稀疏到稠密、由粗糙到精细的框架，适用于快速和准确的多视图深度估计。Yi等人在基于深度学习的MVS问题上，针对代价体和深度图优化方式进行了改进，提出了金字塔与视图聚合立体视觉网络(pyramid viewaggregation multi-view stereo network,PVA-MVSNet)，该网络减少了代价体运算所消耗的运算内存，同时大大提升了重建模型的完整度。Gu等人提出了级联立体视觉网络(cascade multi-view stereo network,CasMVSNet)，CasMVSNet使用级联的代价体来实现稀疏到稠密的深度估计，通过串行操作逐渐得到高精度深度图，在减少运行内存的同时，提升了三维重建的完整性。2021年，Ma等人针对深度假设的设置问题，提出了一种高精高效稠密重建的对极线立体视觉网络(epipolar-assembling multi-view stereo network,EEP-MVSNet)。

综上所述，尽管目前的方法对MVSNet已经做了很大的改进，但网络在多视图三维重建的效果上还需进一步提升。在代价体的特征学习过程中，MVSNet未考虑到通道之间的关联性，即简单的认为每个通道是独立的，这与实际情况不符，不利于网络学习更丰富的通道之间交叉特征。

发明内容