[发明专利]共享设备上多流视觉处理的架构和设备

说明书

一种用于管理向多个处理设备的指令分配的流管理器包括分派器模块，其配置为：接收多个指令流，其中每个指令流包括用于处理来自感知数据源的感知数据的多个请求的计算；基于设备类型将每个指令流划分为多个分区，以执行来自指令流的请求的计算；为每个分区分配释放时间和截止期限，以及将分区计算分派到多个调度队列以在多个处理设备之间分配分区计算的处理。多个调度队列包括：多个CPU调度器，其中每个CPU调度器分配给特定的CPU和特定的调度队列；以及多个加速器调度器，其中每个加速器调度器分配给特定的调度队列和特定类型的加速器。

技术领域

本专利文件中描述的技术总体涉及计算机系统，更具体地涉及允许共享处理资源的计算机系统架构。

背景技术

先进的自主汽车(AV)和先进的驾驶员辅助系统(ADAS)应用利用多个感知设备，比如相机，因此处理来自多个感知设备的数据。来自感知设备的感知流的处理可以涉及CPU(中央处理单元)和加速器(例如GPU、DSP、FPGA)两者的计算。当多个感知流需要计算时，多个感知流的处理可能涉及多个CPU和加速器的计算，这些CPU和加速器通常由多个感知流共享。对于多个感知流，这些设备、CPU和加速器上的计算可能无法很好地同步，从而导致处理能力损失和更高的成本。

因此，期望提供一种用于改善多个CPU和加速器上的计算的同步的系统和方法。此外，结合附图和本发明的背景，根据本发明的随后的详细描述和所附的权利要求，本发明的其他期望的特征和特性将变得显而易见。

发明内容

提供了用于共享计算资源的系统和方法。在一实施例中，提供了一种指令流管理器，用于管理向多个处理设备的指令分配，其中多个处理设备包括多个中央处理单元(CPU)和多个加速器设备。指令流管理器包括分派器模块，其配置为：接收多个指令流，其中每个指令流包括用于处理来自感知数据源的感知数据的多个请求的计算；基于设备或设备类型将每个指令流划分为多个分区，以执行来自指令流的请求的计算；为每个分区分配释放时间和截止期限，其中释放时间是该分区可以开始执行的最早时间点，截止期限是该分区必须完成以确保性能的最晚时间点，并且其中基于时间，同一流的分区将被调度以在不同设备上进行计算，这些设备被分配来自同一流的分区，以减少用于使不同设备同步计算性能的同步开销；以及将分区计算分派到多个调度队列以在多个处理设备之间分配分区计算的处理，其中分区计算包括具有其分配的释放时间和截止期限的分区。多个调度队列布置在存储器中，其中每个调度队列与唯一的处理设备相关。多个调度队列包括：多个CPU调度器，其中每个CPU调度器分配给特定的CPU和特定的调度队列；以及多个加速器调度器，其中每个加速器调度器分配给特定的调度队列和特定的加速器或特定类型的加速器，其共享相同的调度策略。

在一实施例中，多个加速器设备包括图形处理单元(GPU)、数字信号处理器(DSP)和现场可编程门阵列(FPGA)中的一个或多个。

在一实施例中，多个感知数据源包括相机、雷达和激光雷达中的一个或多个。

在一实施例中，为了分配释放时间和截止期限，分派器模块配置为计算释放时间和截止期限。

在一实施例中，为了分配释放时间和截止期限，分派器模块配置为使用比例时间分片(slicing)来确定用于处理感知数据帧的释放时间和截止期限。

在一实施例中，为了计算释放时间和截止期限，分派器模块配置为通过将第一分区的释放时间设置为帧的开始时间、将后续分区的释放时间设置为紧接在前面分区的截止期限以及将分区的截止期限设置为等于该分区的释放时间加上帧的比例时间片来确定用于处理感知数据帧的释放时间和截止期限。