[发明专利]一种海量数据的处理方法及装置

权利要求书

1.一种海量数据的处理方法，其特征在于，包括：

计算出所有待处理数据分别对应的数值；

根据所有数值中的最大值，建立数组；其中，所述数组中至少包括与所述最大值对应的数值相等的个数的存放位置，每一个存放位置对应该存放位置在所述数组中的位置序号；

遍历所述所有数值，针对遍历到的每一个数值，执行如下操作：将所述当前数值存放到所述数组中与所述当前数值相等的位置序号所对应的存放位置处，并在对应的存放位置处的标识加1，其中，未存放有数值的存放位置处的标识初始值为0，其中，该标识对应的值用于表征对应存放位置处存放的数值个数。

2.根据权利要求1所述的方法，其特征在于，在所述计算出所有待处理数据分别对应的数值之后，所述根据所有数值中的最大值，建立数组之前，进一步包括：

对所有数值进行初始化操作，以使初始化操作后的所有数值都是整数。

3.根据权利要求1所述的方法，其特征在于，在所述根据所有数值中的最大值，建立数组之前，进一步包括：利用HashSet容器、SortedSet容器、TreeSet容器或EnumSet容器对所有数值中的重复数值进行过滤。

4.根据权利要求1所述的方法，其特征在于，进一步包括：

记录计算出所有待处理数据分别对应的数值的开始时间点以及记录将所有数值中的最后一个数值存放到所述数组中与该最后一个数值相等的位置序号所对应的存放位置处的时间点，以确定海量数据的处理时间段。

5.根据权利要求1-4中任一所述的方法，其特征在于，进一步包括：

依次从所述数组中每一个存放位置处取出不为0的数值，其中，在取值过程中，若存放位置处的标识大于1，则依次从该存放位置处取出与该存放位置的标识相等个数的数值，并将依次取出的不为0的数值存入列表中。

6.一种海量数据的处理装置，其特征在于，包括：

计算单元，用于计算出所有待处理数据分别对应的数值；

建立单元，用于根据所有数值中的最大值，建立数组；其中，所述数组中至少包括与所述最大值对应的数值相等的个数的存放位置，每一个存放位置对应该存放位置在所述数组中的位置序号；

处理单元，用于遍历所述所有数值，针对遍历到的每一个数值，执行如下操作：将所述当前数值存放到所述数组中与所述当前数值相等的位置序号所对应的存放位置处，并在对应的存放位置处的标识加1，其中，未存放有数值的存放位置处的标识初始值为0，其中，该标识对应的值用于表征对应存放位置处存放的数值个数。

7.根据权利要求6所述的海量数据的处理装置，其特征在于，进一步包括：

初始化操作单元，用于对所有数值进行初始化操作，以使初始化操作后的所有数值都是整数。

8.根据权利要求6所述的海量数据的处理装置，其特征在于，进一步包括：

过滤单元，用于利用HashSet容器、SortedSet容器、TreeSet容器或EnumSet容器对所有数值中的重复数值进行过滤。

9.根据权利要求6所述的海量数据的处理装置，其特征在于，进一步包括：

记录单元，用于记录计算出所有待处理数据分别对应的数值的开始时间点以及记录将所有数值中的最后一个数值存放到所述数组中与该最后一个数值相等的位置序号所对应的存放位置处的时间点，以确定海量数据的处理时间段。

10.根据权利要求6-9中任一所述的海量数据的处理装置，其特征在于，进一步包括：

取值单元，用于依次从所述数组中每一个存放位置处取出不为0的数值，其中，在取值过程中，若存放位置处的标识大于1，则依次从该存放位置处取出与该存放位置的标识相等个数的数值，并将依次取出的不为0的数值存入列表中。