[发明专利]图像帧的深度估计方法、装置、电子设备及存储介质

权利要求书

1.一种图像帧的深度估计方法，其特征在于，包括：

从训练视频序列中获取邻近两个图像帧，并将所述两个图像帧分别输入经过无监督训练得到的光流预测网络中，得到所述光流预测网络输出的所述两个图像帧的所有像素之间的对应关系；

对所述两个图像帧的所有像素之间的对应关系进行置信度采样，根据置信度采样的结果估计相机位姿的相对变化值，得到相机位姿变化估计值，并根据所述相机位姿变化估计值和所述两个图像帧之间采样后的部分像素之间的对应关系进行三角化操作，得到三维相机坐标系中的点云；

计算所述点云的投影，重建深度图，并根据所述机位姿变化估计值对所述两个图像帧在所述深度图中的深度预测值进行逆投影-变换-投影重建，通过最小化重建深度图和预测深度图的误差，实现对深度预测网络的训练；

将待估计图像帧分别输入所述深度预测网络，得到所述深度预测网络输出的所述待估计图像帧的深度估计值。

2.根据权利要求1所述的图像帧的深度估计方法，其特征在于，所述对所述两个图像帧的所有像素之间的对应关系进行置信度采样，根据置信度采样的结果估计相机位姿的相对变化值，得到相机位姿变化估计值，具体包括：

对所述两个图像帧的所有像素之间的对应关系进行置信度采样，选择置信度最高的部分像素输入八点法和随机抽样一致算法中估计的相机位姿的相对变化值，得到相机位姿变化估计值。

3.根据权利要求1所述的图像帧的深度估计方法，其特征在于，所述深度预测网络基于编码器-解码器结构，并添加了编码器和解码器之间的跳跃连接。

4.根据权利要求1所述的图像帧的深度估计方法，其特征在于，所述光流预测网络的训练过程为：

输入所述两个图像帧，得到所述光流预测网络输出的所述两个图像帧的所有像素之间的第一对应关系；所述第一对应关系为第一帧图像到第二帧图像的光流；

根据所述第一对应关系、第二帧图像和光流预测结果进行双线性插值采样来重建第一帧图像，并计算重建图像和原始图像之间的L₁误差和SSIM误差作为监督信号；

将边缘敏感的光滑性损失函数L_smooth添加至光流网络整体的训练损失函数L_flow中：

L_flow＝L_recons+L_smoot

L_recons＝||M_o(I₁-I′₁)]]+(1-SSIM(M_oI₁,M_ol′₁))

其中，I₁为所述第一帧图像，I′₁为重建的第一帧图像，f₁为从第一帧到第二帧的前向光流预测，M_o是由f₁计算得出的遮挡掩码，在未遮挡处为1，遮挡处为0。

5.一种图像帧的深度估计装置，其特征在于，包括：

光流预测模块，用于从训练视频序列中获取邻近两个图像帧，并将所述两个图像帧分别输入经过无监督训练得到的光流预测网络中，得到所述光流预测网络输出的所述两个图像帧的所有像素之间的对应关系；

点云获取模块，用于对所述两个图像帧的所有像素之间的对应关系进行置信度采样，根据置信度采样的结果估计相机位姿的相对变化值，得到相机位姿变化估计值，并根据所述相机位姿变化估计值和所述两个图像帧之间采样后的部分像素之间的对应关系进行三角化操作，得到三维相机坐标系中的点云；

网络训练模块，用于计算所述点云的投影，重建深度图，并根据所述机位姿变化估计值对所述两个图像帧在所述深度图中的深度预测值进行逆投影-变换-投影重建，通过最小化重建深度图和预测深度图的误差，实现对深度预测网络的训练；

深度估计模块，用于将待估计图像帧分别输入所述深度预测网络，得到所述深度预测网络输出的所述待估计图像帧的深度估计值。