[发明专利]一种基于门控循环特征融合的深度图像修复系统及方法

说明书

本发明提供一种基于门控循环特征融合的深度图像修复系统及方法，首先，浅层特征提取模块从输入的彩色图像和稀疏深度图像中提取浅层特征，并将提取到的浅层特征堆砌为一个统一浅层特征；然后，门控循环特征融合模块根据统一浅层特征进行多个尺度的编码，得到各个解码单元中的门控循环单元特征融合时所需的低层次特征，并根据获取到的初始高层次特征从第S个解码单元开始依次解码，得到粗略修复的第一密集深度图像，同时输出第一解码单元中的门控循环单元处理得到的高层次特征；最后，空间传播模块根据稀疏深度图像、第一密集深度图像和高层次特征通过迭代更新的方式进行深度图像修正，得到精细修复的第二密集深度图像。

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于门控循环特征融合的深度图像修复系统及方法。

背景技术

近年来，深度学习框架已广泛用于深度图像修复领域。其中，有的方法在深度修复网络中融入了表面法线信息，有的方法将稀疏深度图像和同场景的彩色图像特征堆砌后传入自监督网络，并使用光度一致性损失来监督修复过程；有的方法则在归一化网络中结合深度和彩色信息来完成深度修复。在这些方法中，多级特征融合或者多模态特征融合往往采用了简单的逐像素相加或者特征堆砌来完成。

此外，一些最新的深度图像修复方法采用了粗细结合的网络架构，即粗略修复网络结合精细修复网络的架构。其中，精细修复网络中，部分研究人员采用卷积空间传播网络模型(Convolutional spatial propagation network,CSPN)，在亲和矩阵的引导下将相邻点进行迭代扩散，以修正深度结果。随后，这些研究人员提出了CSPN++，其通过自适应地学习卷积核尺寸和扩散迭代次数，来提升修复性能。有部分研究人员提出了非局部空间传播网络模型(Non-local spatial propagation network,NLSPN)，在迭代扩散过程中用非局部邻域点间的亲和矩阵来引导深度修正。亲和矩阵决定了空间传播的速度和方向，它的准确性将较大程度地影响精细修复网络的深度修正性能。但目前这些方法仅仅由一个简单的卷积层来计算亲和矩阵，忽略了对特征间相关性的研究，降低了密集深度图像的修复质量。

发明内容

本发明的目的在于提供一种基于门控循环特征融合的深度图像修复系统及方法，用以实现提高深度图像修复质量的技术效果。

第一方面，本发明提供了一种基于门控循环特征融合的深度图像修复系统，包括：浅层特征提取模块、门控循环特征融合模块以及空间传播模块；

所述浅层特征提取模块用于从输入的彩色图像和稀疏深度图像中提取浅层特征，并将提取到的浅层特征堆砌为一个统一浅层特征；

所述门控循环特征融合模块包括编码器和解码器；所述编码器包括依次连接的S个尺度的编码单元；所述编码单元包括R个依次连接的残差块；所述解码器包括与所述编码单元对称设置的S个依次连接的解码单元；除第一编码单元对应的第一解码单元包括一个门控循环单元以及与对应门控循环单元连接一个卷积层外，其余解码单元均包括一个门控循环单元以及与对应门控循环单元连接的上采样层；其中，S和R均为大于1的整数；

所述编码器用于根据所述统一浅层特征进行多个尺度的编码，得到各个解码单元中的特征融合时所需的低层次特征；所述解码器用于通过获取到的初始高层次特征从第S个解码单元开始依次解码，得到粗略修复的第一密集深度图像，同时输出第一解码单元中的门控循环单元处理得到的高层次特征；

所述空间传播模块用于根据所述稀疏深度图像、所述第一密集深度图像和所述高层次特征通过迭代更新的方式进行深度图像修正，得到精细修复的第二密集深度图像。

进一步地，所述编码器中前S-1个编码单元的最后一个残差块均进行下采样操作。