[发明专利]基于联合自注意力机制的单目深度方法

权利要求书

1.一种基于联合自注意力机制的单目深度方法，其特征在于，其包括如下步骤：

(1)获取多个原始训练样本，并对该原始训练样本进行数据增强操作，生成训练数据集，其中原始训练样本包括原始场景图与原始深度图；

(2)构建以DenseNet为骨干网络的，结合空间自注意力模块和通道自注意力模块的基于联合注意力模块的编码器；

(3)构建以U-net为骨干网络的解码器；

(4)将编码器与解码器通过ASPP模块进行连接，作为特征提取架构；

(5)使用步骤(1)中生成的训练数据集并结合损失函数进行训练，并用训练完成后的最终模型对输入图像进行深度预测。

2.根据权利要求1所述的一种基于联合自注意力机制的单目深度方法，其特征在于，步骤(1)中，所述数据增强操作包括图像裁剪、随机翻转、颜色抖动以及随机旋转。

3.根据权利要求2所述的一种基于联合自注意力机制的单目深度方法，其特征在于，步骤(1)中，所述训练数据集包括裁剪后的原始训练样本、翻转训练样本、颜色抖动训练样本以及旋转训练样本。

4.根据权利要求1所述的一种基于联合自注意力机制的单目深度方法，其特征在于，步骤(2)中，所述空间自注意力机制为：记输入特征图为X∈R^C×H×W，高度为H，宽度为W，通道数为C；将特征矩阵X通过四个3×3的卷积层，各卷积层间不共享权值，得到四个特征图，记为:

其中，r为下采样率；

调整M_j，j＝2,3,4的形状；

调整M₂的形状，记为

调整M₃、M₄的形状，记为

计算值注意力权重矩阵A

将Q与K^T进行矩阵乘法再通过softmax函数计算得到A′∈R^{(H×W)×(H×W)}

A′＝softmax(QK^T)

引入过滤矩阵B∈R^{(H×W)×(H×W)}，其中矩阵B中元素如下所示：

将B与A′相乘得到过滤后的权重矩阵α

α＝A′·B

空间自注意力模块的输出S∈R^C×H×W如下

S＝αV+M₁。

5.根据权利要求1所述的一种基于联合自注意力机制的单目深度方法，其特征在于，步骤(2)中，所述通道自注意力模块为：记输入特征图为X∈R^C×H×W，高度为H，宽度为W，通道数为C；调整X的形状，得到X′∈R^C×(H×W)，计算通道自注意力权重矩阵A；

其中，A_i,j为通道自注意力权重矩阵A在(I,j)位置的值；

空间自注意力模块输出S∈R^C×H×W计算公式如下：

6.根据权利要求1所述的一种基于联合自注意力机制的单目深度方法，其特征在于，步骤(3)中，所述解码器使用四个上采样层以逐渐将深度图像的分辨率恢复为与输入状态一致；每个解码层的输出与跳层连接的编码层多尺度特征图进行特征融合。

7.根据权利要求1所述的一种基于联合自注意力机制的单目深度方法，其特征在于，步骤(4)中，所述ASPP模块为：使用速率r＝1,3,6,12的不规则卷积获得4个大小不同的特征图；使用特征金字塔的方法，对获得的4个大小不同的特征图进行特征融合；通过一个1×1的卷积，得到ASPP的输出特征图。

8.根据权利要求1所述的一种基于联合自注意力机制的单目深度方法，其特征在于，步骤(5)中，损失函数为：

Loss＝λL_depth+L_grad

其中，λ为可调参数，L_depth表示像素点与像素点之间的距离误差损失，L_grad表示深度梯度损失。