[发明专利]有限计算资源和速率约束下的远程分割

说明书

一种车辆通信和控制系统，包括与远程计算系统和/或第二车辆进行信号通信的第一车辆。第一车辆包括传感器，该传感器被构造为捕获具有第一图像体积并且包括至少一个目标对象的原始图像。车辆中包括的图像编码器将原始图像转换成具有小于第一图像体积的第二图像体积的掩蔽图像。包括在远程计算系统和/或第二车辆中的分割单元从掩蔽图像中确定至少一个目标对象，生成包括至少一个目标对象的稀疏分割的掩蔽分割图像，并将至少一个目标对象的稀疏分割转换成指示至少一个目标对象的至少一个恢复的分割目标对象。

技术领域

本主题公开涉及数字图像处理，更具体地，涉及车辆图像分割系统。

背景技术

现代车辆正在收集和处理越来越多量的数据。另一方面，车辆对周围环境的视点有限。车辆和/或其他系统(如基础设施或市政交通信息服务器)之间的信息共享可以增强它们对周围环境的了解，并提高这些系统的性能。有两种促进信息共享的主要方法。第一种方法被称为“直接方法”，涉及车辆/基础设施或其他信息来源，将信息传达给相关方，即另一辆车。这种方法通常被称为V2V或V2I。第二种方法被称为“间接方法”，涉及在云或边缘计算系统中收集信息，在那里信息被处理，然后被传播给感兴趣的车辆。这种方法通常被称为V2N，因为信息是从车辆传递到网络的。在这两种情况下，由于共享的信息用于控制和协调车辆运行，因此必须快速处理信息，并且必须以低延迟共享和交换处理结果。

使用V2V、V2I和/或V2N交换的信息通常包括图像数据。一种处理用于车辆控制的图像数据的方法是在车辆中实施图像分割系统。图像分割是将高分辨率原始图像生成为低体积(volume)分割图像的过程。原始图像包括存在于车辆周围环境中的各种类型的目标对象(例如，行人、车辆、街道等)。得到的分割图像包括一个或多个片段(segment)，这些片段共同表示原始图像，包括目标对象。因此，车辆的计算系统可以从分割的对象中识别边界，以确定原始图像数据中包括的目标对象，并且可以基于所识别的目标对象的位置和/或类型做出驾驶决策。

发明内容

根据非限制性实施例，车辆通信和控制系统包括与远程计算系统和第二车辆中的一个或两个进行信号通信的第一车辆。第一车辆包括传感器，该传感器被构造为捕获具有第一图像体积并且包括至少一个目标对象的原始图像。图像编码器包括在第一车辆中，并且被构造成将原始图像转换成具有小于第一图像体积的第二图像体积的掩蔽(masked)图像。分割单元包括在远程计算系统和第二车辆中的一个或两个中。分割单元被构造成从掩蔽图像确定至少一个目标对象，以生成包括至少一个目标对象的稀疏分割的掩蔽分割图像，并将至少一个目标对象的稀疏分割转换成指示至少一个目标对象的至少一个恢复的分割目标对象。

该系统还包括一特征，其中分割单元包括卷积神经网络(CNN)和图像解码器。CNN被构造为通过将标签应用于与至少一个目标对象相关联的像素并排除与至少一个目标对象不相关联的像素来生成至少一个目标对象的稀疏分割。图像解码器被构造为基于应用于像素的标签来生成至少一个恢复的分割目标对象。

该系统还包括一特征，其中图像编码器根据随机像素掩码(mask)生成掩蔽图像，图像解码器根据随机像素掩码生成恢复的分割目标对象。

该系统还包括一特征，其中至少一个恢复的分割目标对象是原始图像中包括的至少一个目标对象的近似。

该系统还包括一特征，其中至少一个目标对象包括第一类型目标对象和不同于第一类型目标对象的第二类型目标对象，并且其中CNN将第一标签应用于与第一类型目标对象相关联的像素，并将第二标签应用于与不同于第一标签的第二类型目标对象相关联的像素。

该系统还包括一特征，其中图像解码器将与第一标签相关联的像素的解码优先于与不同的第二标签相关联的像素的解码。

该系统还包括一特征，其中图像解码器将矩阵补全(completion)算法应用于至少一个目标对象的稀疏分割，以生成恢复的分割目标对象。