[发明专利]模型训练及深度估计方法、装置、存储介质及电子设备

说明书

本说明书公开了模型训练及深度估计方法、装置、存储介质及电子设备。在样本图像中为每个像素点选取至少两对参照点对，其中每对参照点对中的参照点与该像素点位于同一直线上，然后根据深度估计模型输出的深度图将像素点及其参照点映射至三维空间内并得到三维坐标，从而得到以参照点对中的参照点为起点和终点的至少两个参照向量，以根据参照向量确定出像素点的预测法向量，并根据预测法向量与该像素点对应的标注法向量之间的差异构建损失进行训练，以提高深度估计模型输出的深度图的准确性。

技术领域

本说明书涉及计算机视觉领域，尤其涉及模型训练及深度估计方法、装置、存储介质及电子设备。

背景技术

图像的深度估计在计算机视觉领域中是一种应用广泛的技术，例如，利用包含深度信息的图像，可以识别出图像中表达某一语义的对象的三维检测框。

目前，常使用机器学习模型来估计图像的深度，即，将图像输入至训练后的深度估计模型，可得到深度估计模型输出的图像对应的深度图。

为了提高深度估计模型所输出的深度图的准确性，对深度估计模型进行训练变得尤其重要。

发明内容

本说明书提供一种模型训练及深度估计方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种模型训练方法，包括：

确定样本图像；

将所述样本图像输入待训练的深度估计模型，并得到所述深度估计模型所输出的所述样本图像对应的深度图；

针对所述样本图像中的每个像素点，将该像素点作为目标像素点，确定所述目标像素点对应的至少两个参照点对，其中，针对每个参照点对，在样本图像上经过该参照点对中的两个参照点的直线经过所述目标像素点；

根据所述样本图像对应的深度图，确定所述目标像素点和各参照点的三维坐标，针对每个参照点对，根据该参照点对中两个参照点的三维坐标，确定以该参照点对中的参照点为起点和终点的参照向量，作为所述目标像素点对应的参照向量；

基于所述目标像素点对应的各参照向量，得到所述目标像素点在三维空间中的预测法向量；

获取预先确定的各像素点在三维空间中的标注法向量，以各像素点的预测法向量和标注法向量之间的差异最小为目标，调整所述深度估计模型中的参数。

可选地，确定所述目标像素点对应的至少两个参照点对，具体包括：

确定经过所述目标像素点的至少两个直线；

针对所确定出的每个直线，确定出位于该直线上并在沿该直线的不同方向上相对于所述目标像素点的距离为指定距离的两个像素点，作为该目标像素点对应的参照点对，其中，所述指定距离不小于预先设定的距离阈值。

可选地，经过所述目标像素点的各直线中，至少包括一个直线沿所述样本图像所在的图像坐标系的横轴方向，并至少包括一个直线沿所述样本图像所在的图像坐标系的纵轴方向；

确定出位于该直线上并在沿该直线的不同方向上相对于所述目标像素点的距离为指定距离的两个像素点，具体包括：

获取预先设定的间隔像素数量；

确定出位于该直线上并在沿该直线的不同方向上相对于所述目标像素点的距离为指定距离的两个像素点，其中，针对每个像素点，该像素点与目标像素点之间的指定距离为像素点的单位长度与所述间隔像素数量的乘积。

可选地，确定以该参照点对中的参照点为起点和终点的参照向量，具体包括：