[发明专利]语义分割模型训练方法、语义分割方法、装置及电子设备

说明书

本公开提供了一种语义分割模型训练方法、语义分割方法、装置及电子设备，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术，具体可用于3D视觉场景下。具体实现方案为：在训练语义分割模型时，通过使用3D语义分割与2D语义分割一致性损失函数，使得3D分割结果与2D分割结果尽可能一致，从而利用3D信息来引导2D的语义分割，进而能够提升训练的模型的精度与鲁棒性。

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术，具体可用于3D视觉场景下。

背景技术

在计算机视觉领域，目前神经网络的应用主要有图像识别，目标定位与检测，语义分割。图像识别就是告诉你图像是什么，目标定位与检测告诉你图像中目标在哪里，语义分割则是从像素级别回答上面两个问题。

图像语义分割(semantic segmentation)，从字面意思上理解就是让计算机根据图像的语义来进行分割，例如让计算机在输入图1左图的情况下，能够输出右图。语义在语音识别中指的是语音的意思，在图像领域，语义指的是图像的内容，对图片意思的理解，比如左图的语义就是三个人骑着三辆自行车；分割的意思是从像素的角度分割出图片中的不同对象，对原图中的每个像素都进行标注，比如图1中右图分别对应的人部分和自行车部分。

发明内容

本公开提供了一种语义分割模型训练方法、语义分割方法、装置及电子设备。

根据本公开的第一方面，提供了一种语义分割模型训练方法，包括：

基于初始语义分割模型的深度估计网络与语义分割网络，确定样本图片的深度图与二维分割结果图；

基于样本图片的深度图确定3D点云，并针对3D点云进行语义分割，得到样本图片的三维分割结果图；

基于二维分割结果图、三维分割结果图，以及预定的损失函数，确定损失函数值，预定的损失函数包括一致性损失函数，一致性损失函数用于确定二维分割结果图、三维分割结果图的一致性损失；

基于确定的损失函数值更新初始语义分割模型的模型参数，直至收敛，得到目标语义分割模型。

根据本公开的第二方面，提供了一种语义分割方法，包括：

确定待分割目标图像；

将待分割目标图像输入至第一方面训练的目标语义分割模型，得到待分割目标图像的语义分割结果。

根据本公开的第三方面，提供了一种语义分割模型训练装置，包括：

第一确定模块，用于基于初始语义分割模型的深度估计网络与语义分割网络，确定样本图片的深度图与二维分割结果图；

3D语义分割模块，用于基于样本图片的深度图确定3D点云，并针对3D点云进行语义分割，得到样本图片的三维分割结果图；

损失值确定模块，用于基于二维分割结果图、三维分割结果图，以及预定的损失函数，确定损失函数值，预定的损失函数包括一致性损失函数，一致性损失函数用于确定二维分割结果图、三维分割结果图的一致性损失；

更新模块，用于基于确定的损失函数值更新初始语义分割模型的模型参数，直至收敛，得到目标语义分割模型。

根据本公开的第四方面，提供了一种语义分割装置，包括：

第二确定模块，用于确定待分割目标图像；

得到模块，用于将待分割目标图像输入至第一方面训练的目标语义分割模型，得到待分割目标图像的语义分割结果。

根据本公开的第五方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与上述至少一个处理器通信连接的存储器；其中，