[发明专利]一种结合梯度和纹理特征的单目图像深度估计方法

权利要求书

1.一种结合梯度和纹理特征的单目图像深度估计方法，其特征在于主要分成训练编码深度高维特征-训练编码RGB图高维特征-解码高维特征三个部分，具体包含以下步骤：

步骤1：预训练目标高维特征，设计训练编码深度高维特征，并解码成原输入深度图的模型结构；

步骤2：提取单目图像的附加图像特征；附加特征主要是针对图像提取相应的纹理特征和梯度特征；

步骤3：构造训练高维特征学习的编码器；

步骤4：将训练完成的高维特征输入到步骤1训练完成的解码器中，进行解码得到我们最后的深度输出图；

步骤1具体实现如下：

1-1.设计深度图-高维特征的编码器模块，参照unet网络结构：通过初始卷积模块做初步的特征提取；再经过4次1/2的下采样模块，作为主要编码的主体，将特征达到一定高的维度空间内，让模型充分学习图像的深度特征信息；始卷积模块包括两个Conv卷积-BatchNormalization批正则化-ReLU激活操作模块；下采样模块包括Maxpooling最大池化-Conv卷积-BatchNormalization批正则化

-ReLU激活-Conv卷积-ReLU激活操作模块；

1-2.设计高维特征-深度图的解码模块，通过上采样卷积模块作为解码的主体，以此重复4次执行，得到原深度图的等比例的输出图；上采样卷积模块主要包括upsampling上采样-Conv卷积

-BatchNormalization批正则化-ReLU激活-Conv卷积

-BatchNormalization批正则化-ReLU激活的操作模块；

1-3.选取最佳损失函数，高效地让模型学习高维特征，并把高维特征解码成等同的深度图；为了促进模型的收敛，我们把输出深度图和输入深度图的L1范数作为损失函数；

步骤2具体实现如下：

2-1.提取纹理特征：

2-1-1.选择适用的滤波器，降低或消除提取不同特征之间的相关性；

2-1-2.利用小波变换的变焦特性，通过在低频带中以高频率分辨率和低时间分辨率对图像进行水平和垂直两次滤波，以及在低频率分辨率和高时间分辨率的高频带中对图像进行水平和垂直方向上的两次滤波；

2-2.提取梯度特征：

2-2-1.对图像灰度化和Gamma归一化，减少其他因素对图像的影响；

2-2-2.对图像计算图像的梯度，保存每个像素的梯度值和梯度方向；

2-2-3.把图像划分成block，并在block内划分更小的单元格cell；选取所需尺寸大小的block滑动步长，从图像中选取block；

2-2-4.在block内的单元格cell内进行加权投影，在bin方向投影，并计算相应的投影和；

2-2-5.根据计算得到的单元格cell梯度特征，在全图内构建block梯度特征并进行归一化，获取梯度特征图；

步骤3具体实现如下：

3-1.将图像的原图和梯度特征图进行封装，整体作为编码器的输入；

3-2.编码器的网络参照unet网络结构：通过两次初始卷积模块；再经过4次1/2的下采样模块，作为主要编码的主体，得到与预训练高维特征等同的高维特征；始卷积模块包括两个Conv卷积

-BatchNormalization批正则化-ReLU激活操作模块；下采样模块包括Maxpooling最大池化-Conv卷积-BatchNormalization批正则化

-ReLU激活-Conv卷积-ReLU激活操作模块；

3-3.选取损失函数，最小化训练部分的高维特征与预训练的目标高维特征的L1loss，高效地让模型学习高维特征的提取。