[发明专利]语义分割模型训练方法、语义分割方法、装置及电子设备

权利要求书

1.一种语义分割模型训练方法，包括：

基于初始语义分割模型的深度估计网络与语义分割网络，确定样本图片的深度图与二维分割结果图；

基于所述样本图片的深度图确定3D点云，并针对所述3D点云进行语义分割，得到所述样本图片的三维分割结果图；

基于所述二维分割结果图、三维分割结果图，以及预定的损失函数，确定损失函数值，所述预定的损失函数包括一致性损失函数，所述一致性损失函数用于确定二维分割结果图、三维分割结果图的一致性损失；

基于确定的损失函数值更新所述初始语义分割模型的模型参数，直至收敛，得到目标语义分割模型。

2.根据权利要求1所述的方法，其中，所述一致性损失函数为：

其中，表示所述样本图片的像素点对应的2D语义分割结果，表示所述样本图片的像素点对应的3D语义分割结果。

3.根据权利要求1所述的方法，其中，所述基于所述二维分割结果图、三维分割结果图，以及预定的损失函数，确定损失函数值，包括：

基于所述二维分割结果图、三维分割结果图、深度图与样本图片的二维分割标签、三维分割标签、深度信息标签，以及预定的损失函数，确定损失函数值；其中，所述预定的损失函数还包括：二维损失函数、三维损失函数、深度损失函数。

4.根据权利要求1所述的方法，其中，所述基于所述样本图片的深度图确定3D点云，包括：

基于所述样本图片对应的相机的内参以及深度图，将所述深度图转换为3D点云。

5.根据权利要求1所述的方法，其中，所述基于所述样本图片对应的相机的内参以及深度图，将所述深度图转换为3D点云，包括：

通过如下公式：

将深度图转换为3D点云；其中，d是每个像素点(u,v)对应的深度，K为相机的内参，P_c为相机坐标系下的3D坐标[X_c，Y_c，Z_c]。

6.根据权利要求1所述的方法，其中，针对所述3D点云进行语义分割，得到所述样本图片的三维分割结果图，包括：

基于预定的3D点云语义分割网络，得到所述3D点云的语义分割结果。

7.一种语义分割方法，包括：

确定待分割目标图像；

将所述待分割目标图像输入至权利要求1-6任一项训练的所述目标语义分割模型，得到所述待分割目标图像的语义分割结果。

8.根据权利要求1所述的方法，其中，该方法还包括：将所述待分割目标图像输入至权利要求1-6任一项所述目标语义分割模型，得到所述待分割目标图像的深度图。

9.一种语义分割模型训练装置，包括：

第一确定模块，用于基于初始语义分割模型的深度估计网络与语义分割网络，确定样本图片的深度图与二维分割结果图；

3D语义分割模块，用于基于所述样本图片的深度图确定3D点云，并针对所述3D点云进行语义分割，得到所述样本图片的三维分割结果图；

损失值确定模块，用于基于所述二维分割结果图、三维分割结果图，以及预定的损失函数，确定损失函数值，所述预定的损失函数包括一致性损失函数，所述一致性损失函数用于确定二维分割结果图、三维分割结果图的一致性损失；

更新模块，用于基于确定的损失函数值更新所述初始语义分割模型的模型参数，直至收敛，得到目标语义分割模型。

10.根据权利要求9所述的装置，其中，所述一致性损失函数为：

其中，表示所述样本图片的像素点对应的2D语义分割结果，表示所述样本图片的像素点对应的3D语义分割结果。