[发明专利]用于自动驾驶的图像处理方法及系统

说明书

本发明提供了一种用于自动驾驶的图像处理方法及系统，其中方法包括：将自动驾驶过程中一个或多个实时图像分成若干个图像块；对所述图像块根据其重要程度，以一定顺序有选择性地进行图像画面处理，同时发送一次通知；根据每一次通知，读取该通知所对应的图像块并进行图像视觉感知处理，还可以给出下一帧图像块重要性的参考意见，完成自动驾驶过程中的图像处理。本发明将图像划分为多个块，按块以重要性地进行相应的处理和传输，能够降低整个图像处理的延迟；按重要性有选择地处理图像块，可以降低系统的数据吞吐量，优化系统的性能。

技术领域

本发明涉及自动驾驶技术领域的一种图像处理技术，具体地，涉及一种用于自动驾驶的图像处理方法及系统，同时提供了一种相应的计算机终端及计算机可读存储介质。

背景技术

传统的自动驾驶系统中，图像处理器到视觉感知处理器的数据传输，是以帧为单位进行的。图像处理器处理一帧的图像，输出到存储器中，然后再通知视觉感知处理器从存储器中取出数据，进行人工智能视觉识别处理。这样，从图像处理器到视觉感知处理器的数据通路，就至少增加了一帧的延迟。以图像帧率为每秒30帧为例，就增加了33ms延迟。

其次，当一个图像处理器处理多个图像传感器采集的图像时，传统的图像驾驶系统一一般采用按时间轮转复用图像处理器的办法。假设图像处理器需要处理来自四个图像传感器的图像，一般按1-2-3-4-1-2…这样的顺序分时轮转使用。在这种情况下，对于每个图像传感器，连续两个图像之间的延迟是4帧，延迟大大增加了。

第三，在自动驾驶的图像处理系统中，并非所有的图像内容都是自动驾驶算法所感兴趣的。比如，某些情况下图像上半部分是天空，只需要图像的下半部分内容。某些情况下，自动驾驶系统只需要追踪路上的汽车、行人，也就是只需要整帧图像中一小部分图像块。传统的自动驾驶系统中，图像处理器和视觉感知处理器需要处理全帧图像，延迟和计算复杂度大大增加了。

最后，在图像处理和数据传输中，经常会出现图像处理到一半，发现图像损坏，就只能把当前帧的图像丢弃，从下一帧重新开始。但是视觉感知处理器可能只需要一部分图像数据。这样也增加了延迟和计算复杂度。

经过检索发现，公开号为CN208971624U的中国实用新型专利《车载摄像系统》，包括摄像头模组、解串器、处理器，所述摄像头模组、解串器、处理器依次连接；所述摄像头模组采集车辆周围环境的第一图像数据，并将第一图像数据转换为串行信号；所述解串器接收摄像头的串行信号，并将串行信号转回第二图像数据；所述处理器接收第二图像数据，并将第二图像数据进行处理。该系统仍然是以帧为单位进行图像传输，因此，该系统依旧没有解决上述技术问题。

公布号为CN111078475A与CN114679525A的专利，也是以帧为单位进行图像处理与传输。

公布号为CN113099133A虽然把图像分为若干子图像，但是它划分子图像的目的只是为了在多通道串行解串器链路上进行快速图像传输。划分子图像的方式纵向划分，并不像本发明可以把图像横向甚至网格状划分。而且并不涉及图像处理器，也不涉及视觉感知算法对图像重要性的排序与选择。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

本发明针对现有技术中存在的上述不足，提供了一种用于自动驾驶的图像处理方法及系统，同时提供了一种相应的计算机终端及计算机可读存储介质。

根据本发明的一个方面，提供了一种用于自动驾驶的图像处理方法，包括：

将自动驾驶过程中获取的实时图像分成若干个图像块；

按照设定的图像块重要性，对所述图像块进行选择，并对选择的图像块进行重要性从高到低的排序；

对所述选择的图像块按照所述排序进行图像画面处理并进行传输，同时每处理一个图像块发送一次通知；