[发明专利]一种对高分辨率图像敏感的单目绝对深度估计方法

权利要求书

1.一种对高分辨率图像敏感的单目绝对深度估计方法，其特征在于，包括：

在自监督单目绝对深度估计网络中输入单目图像序列/双目图像对，所述自监督单目绝对深度估计网络包括数据水平拼接模块，新型跳跃连接和深度解码器模块以及绝对尺度恢复模块；

输入图像通过数据水平拼接模块进行数据增强，利用重投影损失和多尺度像素平滑损失，构成自监督训练网络；

利用新型跳跃连接和深度解码器模块提取高分辨率特征，每一帧数据经过新型跳跃连接和深度解码器模块输出对应帧的相对深度图；

相对深度图通过绝对尺度恢复模块进行尺度恢复，得到含有绝对尺度的绝对深度图。

2.根据权利要求1所述的一种对高分辨率图像敏感的单目绝对深度估计方法，其特征在于，

所述数据水平拼接模块是将两对双目的输入图像进行部分地拼接，拼接方式由拼接率和相应的均匀概率确定；通过垂直拼接另一个输入图像中具有一定比例的区域来重构出新的输入图像，并随机垂直翻转这两个部分，得到拼接后的图像和拼接后垂直翻转的图像。

3.根据权利要求1所述的一种对高分辨率图像敏感的单目绝对深度估计方法，其特征在于，所述新型跳跃连接和深度解码器模块，其中新型跳跃连接结构由三种不同类型的节点组成；分别为特征提取节点，第一特征融合节点，第二特征融合节点，其中特征提取节点由残差块组成；第一特征融合节点具有3×3卷积运算；第二特征融合节点由全连接层和1×1卷积层组成；视差由深度网络decoder进行解码，该块包含3×3卷积和Sigmoid激活函数；通过密集跳跃连接，解码器中的每个节点都得到最终聚集特征图、中间聚集特征图和来自编码器的原始特征图。

4.根据权利要求1所述的一种对高分辨率图像敏感的单目绝对深度估计方法，其特征在于，所述绝对尺度恢复模块，具体包括：

计算曲面法线，为输入图像中的每个像素确定一个曲面法线；所有像素点需要投影到3D空间中，公式如下：

D(p_i,j)p_i,j＝KP_i,j

其中，p_i,j是表示具有一个齐次坐标的二维空间中第i行第j列的像素，P_i,j是对应的三维空间中的点，D指的是对应点的深度，K为相机内参；

对于每个像素点使用8邻点规则确定其周围的平面，其8个邻点被分成4对，构成4个曲面，生成4个曲面法线，其公式如下：

其中，L_x,y指的是L(P_i,j)第x对的第y个元素，l为曲面法线序号；点p_i,j的最终归一化曲面法线由四个估计法线归一化和平均得到：

计算的摄像机高度为：

其中，是相机高度的矢量投影；

绝对深度尺度恢复的尺度系数f的计算公式为：

其中，h_real为真实的相机高度，绝对深度尺度恢复的尺度系数f即为相对深度图转化为绝对深度图的比例系数；得到尺度系数f后，实现相对尺度深度图到绝对尺度深度图的转换。