[发明专利]基于目标总变差损失的语义分割

说明书

提供了一种用于计算在训练对数据点进行单独分类的神经网络期间用于反向传播的总变差损失的方法和系统，包括：使用神经网络预测一组输入数据点中的每个数据点的相应标签；确定指示以下之间的方差的变差指示符：(i)相邻数据点之间的预测标签的平滑度和(ii)相同的相邻数据点之间的地面真值标签的平滑度；基于所述变差指示符计算所述总变差损失。

相关申请

本申请要求2020年7月28日提交的标题为“基于目标总变差损失的语义分割(SEMANTIC SEGMENTATION USING ATARGETED TOTAL VARIATION LOSS)”的第63/057,876号美国临时专利申请的利益和优先权，所述美国临时专利申请的内容通过引用并入本文。

技术领域

本公开大体上涉及人工智能，特别是神经网络，并提供了一种用于计算总变差损失以用于训练执行语义分割(即，对数据点进行单独分类)的神经网络的方法。

背景技术

计算机视觉是自动驾驶、自动制造、检测以及医疗诊断等各个领域中各种智能/自主系统的组成部分。计算机视觉是人工智能的领域，在这个领域，计算机学习使用数字图像解释和理解视觉世界。使用摄像头生成的数字图像，计算机可以使用深度学习模型准确地“感知”环境中的环境(即识别和分类对象)，并对环境中“感知”的内容作出反应。例如，自动驾驶车辆具有安装在车辆上的摄像头，这些摄像头在车辆运行期间捕获车辆周围环境的图像。车辆的计算机处理摄像头捕获的数字图像。

语义分割是一种机器学习(machine learning，ML)技术，它用所表示的内容的对应类标记数字图像的每个像素。属于同一类对象的每个像素都被标记为所述对象。例如，可以将图像中检测到的所有人分割为一个对象，将所有背景(即，人以外的事物)分割为另一对象。

语义分割也可以应用于由例如光检测和测距(light detection and ranging，LiDAR)传感器生成的点云的上下文中。点云中的每个数据点都可以用所表示的内容的对应类来标记。

用于训练基于ML的语义分割模型的许多已知解决方案侧重于降低损失值，所述损失值基于模型针对数据点(例如，在图像数据的情况下为像素，在点云的情况下为点云)输出的预测标签的比较。这样的解决方案可能只侧重于为数据点预测的标签与其地面真值标签的关系，而很少或根本不考虑相邻数据点信息。一些解决方案出于反向传播的目的对所有数据点执行平均，但即使在这样的解决方案中，关于相邻数据点的信息也未得到充分利用。

对图像中的像素或点云中的数据点进行分类可以从相邻数据点(例如，在图像数据的情况下为相邻像素，在由LiDAR传感器生成的点云的情况下为最近邻数据点)提供的信息中受益匪浅。

为了从相邻数据点中受益，希望结合相邻数据点提供的信息，以提高执行语义分割的神经网络的准确性。

发明内容

根据第一示例方面，是一种用于计算在训练对数据点进行单独分类的神经网络期间用于反向传播的总变差损失的方法，包括：使用神经网络预测一组输入数据点中的每个数据点的相应标签；确定指示以下之间的方差的变差指示符：(i)相邻数据点之间的预测标签的平滑度和(ii)相同的相邻数据点之间的地面真值标签的平滑度；基于所述变差指示符确定所述总变差损失值。

在至少一些应用中，结合相邻数据点之间的预测标签与相邻数据点之间的地面真值标签的比较的总变差损失值可以提高被训练为执行语义分割任务的神经网络的准确性。

在所述方法的前述方面的一些示例中，确定相邻数据点之间的所述预测标签的所述平滑度包括确定所述相邻数据点之间的所述预测标签中的差，确定相邻数据点之间的所述地面真值标签的所述平滑度包括确定所述相邻数据点之间的所述地面真值标签中的差。