[发明专利]共享设备上多流视觉处理的架构和设备

权利要求书

1.一种指令流管理器，用于管理向多个处理设备的指令分配，所述多个处理设备包括多个中央处理单元(CPU)和多个加速器设备，所述指令流管理器包括：

分派器模块，其配置为：

接收多个指令流，每个指令流包括用于处理来自感知数据源的感知数据的多个请求的计算；

基于设备或设备类型将每个指令流划分为多个分区，以执行来自指令流的请求的计算；

为每个分区分配释放时间和截止期限，该释放时间是该分区可以开始执行的最早时间点，该截止期限是该分区必须完成以确保性能的最晚时间点，其中，基于时间，同一流的分区将被调度以在不同设备上进行计算，这些设备被分配来自同一流的分区，以减少用于使不同设备同步计算性能的同步开销；和

将分区计算分派到多个调度队列以在多个处理设备之间分配分区计算的处理，分区计算包括具有其分配的释放时间和截止期限的分区；

所述多个调度队列布置在存储器中，其中，每个调度队列与唯一的处理设备相关，所述多个调度队列包括：

多个CPU调度器，其中，每个CPU调度器分配给特定的CPU和特定的调度队列；以及

多个加速器调度器，其中，每个加速器调度器分配给特定的调度队列和特定的加速器或特定类型的加速器，其共享相同的调度策略。

2.根据权利要求1所述的流管理器，其中，为了分配释放时间和截止期限，所述分派器模块配置为使用比例时间分片来确定用于处理感知数据帧的释放时间和截止期限。

3.根据权利要求1所述的流管理器，其中，为了分配释放时间和截止期限，所述分派器模块配置为通过将第一分区的释放时间设置为帧的开始时间、将后续分区的释放时间设置为紧接在前面分区的截止期限以及将分区的截止期限设置为等于该分区的释放时间加上帧的比例时间片来确定用于处理感知数据帧的释放时间和截止期限。

4.根据权利要求1所述的流管理器，其中，为了分配释放时间和截止期限，所述分派器模块配置为通过r₁＝t₀,r_i＝d_i-1和d_i＝r_i+(D-∑e_i)/∑e_i*e_i来确定用于处理感知数据帧的释放时间和截止期限，其中，r₁是初始释放时间，t₀是流中帧的开始时间，r_i是分区i在其设备上的释放时间，d_i是分区i在其设备上的截止期限，D是完成帧处理的最大允许时间，以及e_i是分区i在其设备上的处理时间。

5.根据权利要求1所述的流管理器，其中，为了分派分区计算，所述分派器模块配置为根据预定义的策略将用于流的计算分配给处理设备，并且当一个流过度使用其分配的处理单元时调节每个流的处理。

6.根据权利要求1所述的流管理器，其中，为了分派分区计算，所述分派器模块配置为根据流的速率来扫描流，为流提供CPU的静态分配，并且为流提供加速器的静态分配。

7.根据权利要求1所述的流管理器，其中，每个调度队列是静态的，以预定的、特定的读取策略组织，并且根据优先级对计算进行排序。

8.根据权利要求1所述的流管理器，其中：

为每个CPU分配一组预定义的任务；

任务可以执行来自一个或多个流的计算；

对于每个流，总是将CPU计算分配给特定的CPU和特定的CPU的任务；

每个CPU调度器配置为基于任务优先级、释放时间和截止期限将任务调度到其相关CPU；以及

每个CPU调度器配置为监视其相关CPU的使用，并将该使用报告给所述分派器模块。