[发明专利]一种基于深度学习的自适应通道注意力三维重建方法

权利要求书

1.一种基于深度学习的自适应通道注意力三维重建方法，其特征在于该方法的步骤具有四个部分：特征提取、可微单应性变换、代价体正则化以及深度图优化，其中：

步骤一，特征提取，

输入1张参考图像和N-1张邻近图像，通过二维卷积神经网络将输入图片的大小变为原来的1/4，并得到N个特征图；

步骤二，可微单应性变换，

将上一步骤得到的N张特征图投影至参考图像下的若干平行平面构成N个特征体，将特征体进行平面可微的单应性变换得到代价体；

步骤三，代价体正则化，

通过步骤二的特征体计算得到代价体后，代价体经过多尺度三维注意力卷积神经网络输出概率体；代价体正则化的主要功能是将代价体转换为概率体，在这一步中，考虑到通道之间的关联性，在每两个相同尺度的代价体和概率体之间引入注意力SE模块，以学习通道之间的相关性，筛选出针对通道的注意力；

注意力SE模块，模块主要包含压缩和激励两个部分：

(1)压缩(Squeeze)：通过在特征图层上执行全局平均池化，得到当前特征图的全局压缩特征量；

(2)激励(Excitation)：通过两层全连接的bottleneck结构得到特征图中每个通道的权值，并将加权后的特征图作为下一层网络的输入；

步骤四，深度图优化，

通过概率体恢复深度图，采用Soft argmin的操作估计深度，得到初始深度估计，然后通过一个深度残差学习模块，得到优化后的深度图。

2.如权利要求1所述的基于深度学习的自适应通道注意力三维重建方法，其特征在于步骤一中，其中，二维卷积神经网络共有8层，其中第3层、第6层的步长为2，以此得到3个尺度的特征图。

3.如权利要求1所述的基于深度学习的自适应通道注意力三维重建方法，其特征在于步骤三中，注意力SE模块的主要操作流程分为三步：

(1)压缩，

第一步是压缩操作，经过压缩操作后，大小为W×H×C的特征图会被压缩为1×1×C的向量；

(2)激励，

第二步是激励操作，此操作由两个全连接层组成，其中S是一个缩放参数。图中的第一个全连接层FC有C×S个神经元，其输入为1×1×C，输出1×1×C×S；第一个激活函数选用Relu函数，输入为1×1×C×S，输出为1×1×C×S；第二个全连接层FC有C个神经元，输入为1×1×C×S，输出为1×1×C；第二个激活函数选用Sigmoid，输入为1×1×C，输出为1×1×C；

(3)Scale操作，

第三步是Scale操作，激励操作之后，得到输出为1×1×C的向量，最后对其进行Scale操作；原本特征向量为W×H×C，将SE模块计算出来的各通道权重值分别与原特征图对应通道的二维矩阵相乘，得到1×1×C的结果输出；

由此得出参数量和计算量的计算公式如下：

Q＝2×C×C×S

E＝2×C×C×S

其中，Q为参数量，E为计算量，C为通道数，S为缩放参数。

4.如权利要求1所述的基于深度学习的自适应通道注意力三维重建方法，其特征在于步骤四中，考虑到初始和优化后深度图的损失，采用损失函数进行弥补；网络使用真实深度图和估计深度图之间的平均绝对误差作为训练损失；由于真值深度图大多都不完整，因此，只考虑有效GT标签的像素：

其中，P_valid为真值中有效像素的集合，d(p)为像素p的真实深度值，为初始深度图像素p的深度，为优化后深度图像素p的深度，实验中将参数λ设置为1；Loss₁表示真值与初始深度图间的损失，Loss₂表示真值与优化后深度图间的损失。