[发明专利]数据存储方法及装置

权利要求书

1.一种数据存储方法，包括：

对输入的数据进行分组，其中，所述数据的组数根据处理该数据的结点数确定；

依次为每个结点分配一组待处理的数据，并利用各结点对各自对应的数据进行并行的连续id化处理，其中，所述连续id化处理是指将数据中的关键字替换为0-N的整数；

存储经连续id化处理后的数据。

2.根据权利要求1所述的方法，其特征在于，所述利用各结点对各自对应的组数据进行并行的连续id化处理，包括：

对于任意一个结点，计算本结点起始id编号；

根据本结点起始id编号对本结点数据进行id化。

3.根据权利要求2所述的方法，其特征在于，采用如下公式对本结点数据进行id化：

其中，rank为当前结点的编号，且rank>0，Ni为结点i的数目。

4.根据权利要求3所述的方法，其特征在于，rank=0时，StartID＝0。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述利用各结点对各自对应的组数据进行并行的连续id化处理，包括：

对于任意一个结点，

在本结点内部设置多个工作线程，并将本结点处理的数据依次分配到每个工作线程上；

利用每个工作线程对各自对应的数据进行连续id化处理。

6.根据权利要求5所述的方法，其特征在于，所述利用每个工作线程对各自对应的数据进行连续id化处理，包括：

对于任意一个工作线程，

判断当前处理的数据是否是自身所处理的最后一条数据；

若是，则结束并退出处理流程；

若否，则为当前数据赋予id，并触发下一条数据的处理。

7.根据权利要求6所述的方法，其特征在于，所述触发下一条数据的处理，包括：利用原子递增atomic_inc，对下一条数据进行连续id化处理。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述输入的数据为key-value对。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法采用MPI模型对数据进行并行的连续id化处理。

10.一种数据存储装置，包括：

分组模块，配置为对输入的数据进行分组，其中，所述数据的组数根据处理该数据的结点数确定；

处理模块，配置为依次为每个结点分配一组待处理的数据，并利用各结点对各自对应的数据进行并行的连续id化处理，其中，所述连续id化处理是指将数据中的关键字替换为0-N的整数；

存储模块，配置为存储经连续id化处理后的数据。

11.根据权利要求10所述的装置，其特征在于，所述处理模块还配置为：

对于任意一个结点，计算本结点起始id编号；

根据本结点起始id编号对本结点数据进行id化。

12.根据权利要求11所述的装置，其特征在于，所述处理模块采用如下公式对本结点数据进行id化：

其中，rank为当前结点的编号，且rank>0，Ni为结点i的数目。

13.根据权利要求12所述的装置，其特征在于，rank=0时，StartID＝0。

14.根据权利要求10至13任一项所述的装置，其特征在于，所述处理模块还配置为：

对于任意一个结点，

在本结点内部设置多个工作线程，并将本结点处理的数据依次分配到每个工作线程上；

利用每个工作线程对各自对应的数据进行连续id化处理。

15.根据权利要求14所述的装置，其特征在于，所述处理模块还配置为：

对于任意一个工作线程，

判断当前处理的数据是否是自身所处理的最后一条数据；

若是，则结束并退出处理流程；

若否，则为当前数据赋予id，并触发下一条数据的处理。

16.根据权利要求15所述的装置，其特征在于，所述处理模块还配置为：利用原子递增atomic_inc，对下一条数据进行连续id化处理。

17.根据权利要求10至16任一项所述的装置，其特征在于，所述输入的数据为key-value对。

18.根据权利要求10至17任一项所述的装置，其特征在于，所述装置采用MPI模型对数据进行并行的连续id化处理。