[发明专利]调整深度图像预测模型的方法、装置和电子设备

说明书

本发明实施例公开了一种调整深度图像预测模型的方法、装置、可读存储介质和电子设备。本发明实施例通过获取顺序拍摄的图像序列；获取多个样本数据组，各样本数据组包括在图像序列中相邻的第一图像和第二图像，以及在拍摄所述第一图像和第二图像之间的时间段内记录的运动数据；以无监督方式迭代调整深度图像预测模型和运动预测模型的参数以使得损失函数最优化。通过上述方法，采用无监督方式迭代调整深度图像预测模型和运动预测模型的参数，以使得损失函数最优化，获取到优化的深度图像预测模型和运动预测模型，通过优化的深度图像预测模型对深度图像进行确定，可以提高所估计深度图像的精确度。

技术领域

本发明涉及图像处理领域，具体涉及一种调整深度图像预测模型的方法、装置和电子设备。

背景技术

近年来，自动驾驶技术的研究越来越深入和广泛，自动驾驶汽车是自动驾驶技术的一项重要应用，自动驾驶汽车是智能汽车的一种，以自动驾驶模式运行的车辆可将乘员、尤其是驾驶员从一些驾驶相关的职责中解放出来；当以自动驾驶模式运行时，车辆主要依靠车内的以计算机系统为主的智能驾驶仪来实现自动驾驶的目的，从而允许车辆在没有人机交互的情况下行驶。自动驾驶技术中的一项具体的技术为通过单目图像获取深度图像，进而预测场景深度，其中，所述深度图像，又名距离图像(Range Image)是指将从图像采集器到场景中各点的距离作为像素值的图像，也就是深度图像中的每一个像素值表示场景中某一点与摄像机之间的距离。

现有技术中，由于单目图像受光照的影响、拍摄单目图像的摄像机的快速运动的影响，以及单目图像中会存在尺度模糊等问题，通过单目图像获取的深度图像的精确度较差，如何提高由单目图像生成的深度图像的精确度是目前需要解决的问题。

发明内容

有鉴于此，本发明实施例提供了一种调整深度图像预测模型的方法、装置、可读存储介质和电子设备，通过无监督方式迭代调整深度图像预测模型和运动预测模型的参数，以使得损失函数最优化，进而提高了通过所述深度图像预测模型生成的深度图像的精确度。

第一方面，本发明实施例提供了一种调整深度图像预测模型的方法，该方法包括：获取顺序拍摄的图像序列；获取多个样本数据组，各样本数据组包括在图像序列中相邻的第一图像和第二图像，以及在拍摄所述第一图像和第二图像之间的时间段内记录的运动数据；以无监督方式迭代调整深度图像预测模型和运动预测模型的参数以使得损失函数最优化；其中，确定所述损失函数的步骤包括：基于运动预测模型，根据所述样本数据组确定运动矩阵；基于深度图像预测模型，预测所述第一图像对应的第一初始深度图像和第二图像对应的第二初始深度图像；根据所述第一初始深度图像、第二初始深度图像和所述运动矩阵确定所述损失函数。

优选地，该方法还包括：将至少一张第三图像输入到迭代调整后的所述深度图像预测模型，输出所述第三图像对应的第三初始深度图像。

优选地，将相邻的第三图像和第四图像及在拍摄所述第三图像和第四图像之间的时间段内记录的运动数据输入到迭代调整后的所述运动预测模型，输出所述运动矩阵，其中所述运动矩阵用于确定拍摄所述第三图像和所述第四图像的设备的运动轨迹。

优选地，所述运动数据包括惯性测量单元IMU数据；所述运动预测模型包括第一运动编码器PoseNet、第二运动编码器BiLSTM、以及门控加权网络；所述深度图像预测模型包括图像编码器DepthNet。

优选地，所述根据所述样本数据组确定运动矩阵，具体包括：

根据所述相邻的所述第一图像和所述第二图像确定第一运动特征；

根据所述IMU数据确定第二运动特征；

将所述第一运动特征与所述第二运动特征进行选择性特征融合，确定所述运动矩阵。

优选地，所述根据所述相邻的所述第一图像和所述第二图像确定第一运动特征，具体包括：