[发明专利]图像帧的深度估计方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种图像帧的深度估计方法、装置、电子设备及存储介质，通过使用经过无监督训练得到的光流预测网络提取像素关系来代替传统手工设置的图像特征SIFT等做匹配，像素之间关系的确定变得更加准确，同时引入置信度采样进一步提高鲁棒性；并通过使用建立像素关系再解算相机位姿关系，代替了端到端的相机位姿相对变化估计，从而大大提高了泛化能力，提高了整体系统的应用性能。

技术领域

本发明涉及计算机技术领域，具体涉及一种图像帧的深度估计方法、装置、电子设备及存储介质。

背景技术

单目图像的深度估计是计算机视觉和机器人学中的热点问题，在自动驾驶、机器人导航、三维重建等领域有着广泛的应用；视觉里程计，或相机位姿估计，是机器人领域中重要的热点问题。视频序列中，深度信息和相机位姿信息相互约束和影响，因此深度估计和位姿估计的组合求解与应用，也越来越受到关注。

神经网络的发展和深度学习的出现，给传统计算机视觉任务的解决带来了新的思路和方案。从大规模数据中学习估计深度信息成为可能。基于数据驱动的监督学习需要原始数据和对应标签，然而，获取彩色(RGB)图像的深度标签是困难的，尤其在室外场景中，激光雷达只能得到稀疏点云深度信息，而彩色深度(RGBD)相机无法准确获取较远处的深度值。这对如何收集、利用数据和设计算法系统提出了挑战。

基于多任务和无监督学习的深度学习系统，其核心思想是探索多个任务之间的相互约束，来构建损失函数对神经网络进行监督，从而无需使用标签来监督。图像深度预测和相机位姿预测两个任务，由于可以通过深度图的逆投影-位姿变换-投影重建来构建约束，因此无需标签信息也可以训练。现有的基于多任务和无监督学习的图像深度预测和位姿预测系统，大多建立在使用两个独立的端到端神经网络PoseNet和DepthNet分别来预测相机位姿变化和图像深度，然后计算损失函数的基础上。然而，使用PoseNet预测相机位姿变化是不够鲁棒的，在训练集中没有出现过的位姿数据分布上，训练过的PoseNet无法给出有效的预测，表明其泛化性能有限。

因此，如何在继承无监督训练神经网络的优势的同时，提高系统的稳定性和鲁棒性，是需要解决的问题。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种图像帧的深度估计方法、装置、电子设备及存储介质。

第一方面，本发明实施例提出一种图像帧的深度估计方法，包括：

从训练视频序列中获取邻近两个图像帧，并将所述两个图像帧分别输入经过无监督训练得到的光流预测网络中，得到所述光流预测网络输出的所述两个图像帧的所有像素之间的对应关系；

对所述两个图像帧的所有像素之间的对应关系进行置信度采样，根据置信度采样的结果估计相机位姿的相对变化值，得到相机位姿变化估计值，并根据所述相机位姿变化估计值和所述两个图像帧之间采样后的部分像素之间的对应关系进行三角化操作，得到三维相机坐标系中的点云；

计算所述点云的投影，重建深度图，并根据所述机位姿变化估计值对所述两个图像帧在所述深度图中的深度预测值进行逆投影-变换-投影重建，通过最小化重建深度图和预测深度图的误差，实现对深度预测网络的训练；

将待估计图像帧分别输入所述深度预测网络，得到所述深度预测网络输出的所述待估计图像帧的深度估计值。

可选地，所述对所述两个图像帧的所有像素之间的对应关系进行置信度采样，根据置信度采样的结果估计相机位姿的相对变化值，得到相机位姿变化估计值，具体包括：

对所述两个图像帧的所有像素之间的对应关系进行置信度采样，选择置信度最高的部分像素输入八点法和随机抽样一致算法中估计的相机位姿的相对变化值，得到相机位姿变化估计值。

可选地，所述深度预测网络基于编码器-解码器结构，并添加了编码器和解码器之间的跳跃连接。