[发明专利]模型训练及深度估计方法、装置、存储介质及电子设备

权利要求书

1.一种模型训练方法，其特征在于，包括：

确定样本图像；

将所述样本图像输入待训练的深度估计模型，并得到所述深度估计模型所输出的所述样本图像对应的深度图；

针对所述样本图像中的每个像素点，将该像素点作为目标像素点，确定所述目标像素点对应的至少两个参照点对，其中，针对每个参照点对，在样本图像上经过该参照点对中的两个参照点的直线经过所述目标像素点；

根据所述样本图像对应的深度图，确定所述目标像素点和各参照点的三维坐标，针对每个参照点对，根据该参照点对中两个参照点的三维坐标，确定以该参照点对中的参照点为起点和终点的参照向量，作为所述目标像素点对应的参照向量；

基于所述目标像素点对应的各参照向量，得到所述目标像素点在三维空间中的预测法向量；

获取预先确定的各像素点在三维空间中的标注法向量，以各像素点的预测法向量和标注法向量之间的差异最小为目标，调整所述深度估计模型中的参数。

2.如权利要求1所述的方法，其特征在于，确定所述目标像素点对应的至少两个参照点对，具体包括：

确定经过所述目标像素点的至少两个直线；

针对所确定出的每个直线，确定出位于该直线上并在沿该直线的不同方向上相对于所述目标像素点的距离为指定距离的两个像素点，作为该目标像素点对应的参照点对，其中，所述指定距离不小于预先设定的距离阈值。

3.如权利要求2所述的方法，其特征在于，经过所述目标像素点的各直线中，至少包括一个直线沿所述样本图像所在的图像坐标系的横轴方向，并至少包括一个直线沿所述样本图像所在的图像坐标系的纵轴方向；

确定出位于该直线上并在沿该直线的不同方向上相对于所述目标像素点的距离为指定距离的两个像素点，具体包括：

获取预先设定的间隔像素数量；

确定出位于该直线上并在沿该直线的不同方向上相对于所述目标像素点的距离为指定距离的两个像素点，其中，针对每个像素点，该像素点与目标像素点之间的指定距离为像素点的单位长度与所述间隔像素数量的乘积。

4.如权利要求3所述的方法，其特征在于，确定以该参照点对中的参照点为起点和终点的参照向量，具体包括：

确定样本图像对应的三维特征图，其中，所述三维特征图中每个特征单元为该特征单元在所述样本图像中对应的像素点的三维坐标；

采用预先设定的卷积核，在样本图像对应的三维特征图上滑动，并在每次滑动后所覆盖的所述三维特征图的区域进行一阶深度可分离卷积，将所述卷积核与该参照点对所对应的参照区域卷积后得到的向量作为该参照点对中的参照点为起点和终点的参照向量，其中，所述参照区域为所述参照点对之间的区域所对应的所述三维特征图中的区域。

5.如权利要求1所述的方法，其特征在于，基于所述目标像素点对应的各参照向量，得到所述目标像素点在三维空间中的预测法向量，具体包括：

从所述目标像素点对应的各参照向量中选择出两个目标参照向量，并根据两个目标参照向量得到所述目标像素点在三维空间中的预测法向量。

6.如权利要求1所述的方法，其特征在于，得到所述深度估计模型所输出的所述样本图像对应的深度图之后，所述方法还包括：

获取预先为所述样本图像确定出的标注深度图；

以所述深度估计模型输出的所述样本图像对应的深度图与所述样本图像的标注深度图之间的差异最小为目标，调整所述深度估计模型中的参数。

7.如权利要求1所述的方法，其特征在于，确定各像素点在三维空间中的标注法向量，具体包括：

获取样本点云；

基于预先标定出的所述样本图像的图像坐标系和所述样本点云的点云坐标系之间的转换关系，将所述样本点云映射在所述图像坐标系下，根据所述样本点云的三维坐标，为所述样本图像确定出标注深度图；

根据所述样本图像的标注深度图，针对样本图像中每个像素点，确定该像素点以及该像素点对应的参照点的三维坐标，并得到以对应的参照点为起点和终点的各像素点对应的参照向量；

基于该像素点对应的各参照向量，得到该像素点在三维空间中的标注法向量。