[发明专利]一种数据处理的方法和设备

权利要求书

1.一种数据处理的方法，其特征在于，包括：

通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器；

由所述第一缓存器中调用所述数据，并进行多层洗牌，所述多层洗牌为根据所述数据的共同特征对所述数据进行分组以及统计整理，其中，所述多层洗牌包括内层洗牌和外层洗牌；

将进行多层洗牌的所述数据进行统计存入第二缓存器中；

将所述第二缓存器中的所述数据通过合并函数进行合并，并将所述合并后的数据缓存入结果缓存器。

2.根据权利要求1所述的方法，其特征在于，所述通过多层分区对数据进行分区整理，包括：

将当前分区中的数据按照预设的分区策略由当前一个分区分成多个子分区。

3.根据权利要求1或2所述的方法，其特征在于，所述由所述第一缓存器中调用所述数据，并进行多层洗牌，包括：

通过所述内层洗牌将所述数据根据所述数据的共同特征进行分组，将具有所述共同特征的数据分入相同的子分区，所述内层洗牌为将所述数据按照所述数据的共同特征进行分类；

根据所述内层洗牌得到的多个子分区的数据通过所述外层洗牌进行统计整理，所述外层洗牌为根据所述预设的分区策略统计所述内层洗牌后的多个子分区中的数据。

4.根据权利要求1所述的方法，其特征在于，所述通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器之前，还包括：

调用图形处理器中的函数组，并根据所述函数组处理对应的所述数据，所述函数组包括：映射函数Mapper、分区函数Partitioner、洗牌函数Shuffler和合成函数Combiner。

5.一种数据处理设备，其特征在于，包括：

分区单元，用于通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器；

洗牌单元，用于由所述第一缓存器中调用所述数据，并进行多层洗牌，所述多层洗牌为根据所述数据的共同特征对所述数据进行分组以及统计整理，其中，所述多层洗牌包括内层洗牌和外层洗牌；

缓存单元，用于将进行多层洗牌的所述数据进行统计存入第二缓存器中；

合并单元，用于将所述第二缓存器中的所述数据通过合并函数进行合并，并将所述合并后的数据缓存入结果缓存器。

6.根据权利要求5所述的设备，其特征在于，

所述分区单元，还用于将当前分区中的数据按照预设的分区策略由当前一个分区分成多个子分区。

7.根据权利要求5或6所述的设备，其特征在于，所述洗牌单元，包括：

内部洗牌子单元，用于通过所述内层洗牌将所述数据根据所述数据的共同特征进行分组，将具有所述共同特征的数据分入相同的子分区，所述内层洗牌为将所述数据按照所述数据的共同特征进行分类；

外部洗牌子单元，用于根据所述内层洗牌得到的多个子分区的数据通过所述外层洗牌进行统计整理，所述外层洗牌为根据所述预设的分区策略统计所述内层洗牌后的多个子分区中的数据。

8.根据权利要求5所述的设备，其特征在于，所述设备还包括：

调用单元，用于在通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器之前，调用图形处理器中的函数组，并根据所述函数组处理对应的所述数据，所述函数组包括：映射函数Mapper、分区函数Partitioner、洗牌函数Shuffler和合成函数Combiner。