[发明专利]多视角语义分割方法、装置、电子设备和存储介质

说明书

本公开实施例公开了一种多视角语义分割方法、装置、电子设备和存储介质，其中，方法包括：确定至少两个第一类视角分别对应的第一图像数据，得到至少两个第一图像数据；确定至少两个第一图像数据分别对应的第二类视角下的第一语义分割特征，得到至少两个第一语义分割特征；将至少两个第一语义分割特征进行融合，获得融合语义分割特征；基于融合语义分割特征，获得融合语义分割结果。本公开实施例可以实现仅利用相机、雷达等，通过中融合即可实现端到端的多视角语义分割结果，无需进行后处理，有效降低处理时间，从而减小辅助延迟，解决了现有技术需要传输到后处理模块进行后处理导致延迟较大等问题。

技术领域

本公开涉及计算机视觉技术，尤其是一种多视角语义分割方法、装置、电子设备和存储介质。

背景技术

在自动驾驶等计算机视觉领域，为了辅助规划与控制，获得可移动设备(比如自动驾驶车辆、半自动驾驶车辆、自动机器人等)周围环境信息成为关键操作，相关技术中，通常通过设置在可移动设备上的多个视角的摄像头采集周围多个视角的图像数据，然后基于神经网络模型分别对各视角的图像数据进行语义分割，获得各视角分别对应的语义分割结果，传输到后处理模块进行后处理，比如滤波、融合等，获得可移动设备的周围环境语义信息。但是，现有这种后融合的方法的后处理过程处理时间较长，从而为辅助驾驶带来较大延迟。

发明内容

为了解决上述后处理过程处理时间较长等技术问题，提出了本公开。本公开的实施例提供了一种多视角语义分割方法、装置、电子设备和存储介质。

根据本公开实施例的一个方面，提供了一种多视角语义分割方法，包括：确定至少两个第一类视角分别对应的第一图像数据，得到至少两个第一图像数据；确定所述至少两个第一图像数据分别对应的第二类视角下的第一语义分割特征，得到至少两个第一语义分割特征；将所述至少两个第一语义分割特征进行融合，获得融合语义分割特征；基于所述融合语义分割特征，获得融合语义分割结果。

根据本公开实施例的另一个方面，提供了一种多视角语义分割装置，包括：第一确定模块，用于确定至少两个第一类视角分别对应的第一图像数据，得到至少两个第一图像数据；第一处理模块，用于确定所述至少两个第一图像数据分别对应的第二类视角下的第一语义分割特征，得到至少两个第一语义分割特征；第一融合模块，用于将所述至少两个第一语义分割特征进行融合，获得融合语义分割特征；第二处理模块，用于基于所述融合语义分割特征，获得融合语义分割结果。

根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的多视角语义分割方法。

根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的多视角语义分割方法。

基于本公开上述实施例提供的多视角语义分割方法、装置、电子设备和存储介质，通过中融合方式，基于相机视角、雷达视角等第一类视角对应的图像数据，确定鸟瞰视角的第二类视角的语义分割特征，在特征阶段进行融合，获得鸟瞰视角的融合语义分割特征，基于融合语义分割特征确定融合语义分类结果，从而实现仅利用相机、雷达等，通过中融合即可实现端到端的多视角语义分割结果，无需进行后处理，有效降低处理时间，从而减小辅助延迟，解决了现有技术需要传输到后处理模块进行后处理导致延迟较大等问题。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开提供的多视角语义分割方法的一个示例性的应用场景；