[发明专利]基于多核处理器的数据处理方法及相关产品

权利要求书

1.一种基于多核处理器的数据处理方法，所述多核处理器包括多个处理核，所述方法包括：

根据配置方案，调度一个或多个处理核对待处理数据执行排序处理，其中所述配置方案指示要使用的处理核数量和所述待处理数据的拆分方式，所述排序处理用于从所述待处理数据的指定的排序维度中筛选出满足第一预定条件的指定数量的数值；以及

根据所述配置方案，对所调度的一个或多个处理核返回的处理结果选择性进行后处理，以获得最终结果。

2.根据权利要求1所述的方法，其中，所述排序处理包括数据筛选阶段，用于筛选出满足第一预定条件的K个数值，所述配置方案进一步指示所述数据筛选阶段的配置，包括在所述数据筛选阶段使用的处理核数量和所述待处理数据的拆分方式。

3.根据权利要求2所述的方法，其中，所述数据筛选阶段的配置包括以下任一或其任意组合：

第一筛选配置，其中一个处理核处理一个完整批次的数据，筛选出所述K个数值；

第二筛选配置，其中多个处理核共同处理一个完整批次的数据，每个处理核输入一个完整批次的数据，各自筛选出K个数值中对应的一个区块；

第三筛选配置，包括初筛配置和复筛配置，在初筛配置中，多个处理核分摊处理一个完整批次的数据，每个处理核输入同一完整批次数据中的不同数据块，筛选出所述数据块中满足第一预定条件的K个数值，在复筛配置中，采用所述第一筛选配置或所述第二筛选配置从所述多个处理核初筛出的数据中筛选出所述K个数值；或

第四筛选配置，其中一个处理核处理一个完整批次的数据，按区块输出筛选出的所述K个数值，其中区块之间是有序的，区块内的数值未排序。

4.根据权利要求3所述的方法，其中，在所述第一筛选配置中，一个处理核按如下方式从一个完整批次的数据中筛选出所述K个数值：

从外部存储电路加载数据，从中选取和存储满足所述第一预定条件的K个数值，以及确定所述第一预定条件的阈值GV；

根据所述阈值GV，从外部存储电路筛选出未处理的新数据；

将所述新数据与上一次存储的K个数值进行比较，以更新并存储新的K个数值和阈值GV；以及

重复所述筛选和所述更新的步骤，直至遍历所述一个完整批次的数据，得到最后更新的K个数值。

5.根据权利要求3所述的方法，其中，在所述第二筛选配置中，按如下方式调度多个处理核进行筛选处理：

将所述K拆分成Ncore个区块，分配给Ncore个处理核；以及

每个处理核输入一个完整批次的数据，并根据所分配区块的上下限，筛选出对应区块的数据。

6.根据权利要求3所述的方法，其中，在所述第三筛选配置中，按如下方式调度多个处理核进行初筛处理：

在所述待处理数据的指定的排序维度上将所述待处理数据拆分成Ncore个数据块，分配给Ncore个处理核；以及

每个处理核从所分配的数据块中筛选出满足第一预定条件的K个数值。

7.根据权利要求3所述的方法，其中，在所述第四筛选配置中，一个处理核按如下方式从一个完整批次的数据中按区块输出筛选出的所述K个数值：

在处理核上迭代地对两倍区块量2δ的数据量进行处理：

将所述2δ的数据量按其中位数划分为三部分：大于中位数的第一部分、等于中位数的第二部分和小于中位数的第三部分；

输出划分后的三部分数据中对应第一预定条件的δ的数据量，以更新外部存储电路的输出存储区域中对应的δ的数据量；

其中所述2δ的数据量中的一半来自外部存储电路的输入存储区域中的未处理输入数据，另一半来自外部存储电路的输出存储区域中上一迭代周期的输出数据。

8.根据权利要求3-7任一所述的方法，其中，所述排序处理还包括全排序阶段，用于对筛选出的K个数值进行全排序，所述配置方案进一步指示所述全排序阶段的配置，包括在所述全排序阶段使用的处理核数量和所述K个数值的拆分方式。