[发明专利]一种海量数据处理方法、装置及系统

权利要求书

1.一种海量数据处理方法，其特征在于，应用于预设的分布式数据副本集群中存储有海量数据的数据节点；

其中，所述数据副本集群包括至少一个所述数据节点，所述每一数据节点至少与一个不同于本数据节点的另一数据节点相连，且所述数据节点在其预设时间间隔点获取本数据节点中不同于所述另一数据节点的数据，并将所述获取的数据写入至所述另一数据节点中，触发所述另一数据节点更新其数据版本；

所述方法包括：

依据预设规则在所述数据副本集群中被选取的当前数据节点接收待更新数据，并将所述待更新数据写入至本数据节点；

其中，所述待更新数据在所述数据副本集群接收到的更新请求信息中提取；

并更新所述当前数据节点的数据版本；

若当前系统时间到达所述预设时间间隔点，所述当前数据节点获取本数据节点中不同于所述另一数据节点的数据，并将所述获取的数据写入至所述另一数据节点中，触发所述另一数据节点更新其数据版本。

2.根据权利要求1所述的方法，其特征在于，所述数据节点的数据版本包括被写入数据的标识信息；

所述更新所述当前数据节点的数据版本包括：

将所述待更新数据的标识信息添加至所述当前数据节点的数据版本中。

3.根据权利要求1所述的方法，其特征在于，所述依据预设规则在所述数据副本集群中选取当前数据节点包括：

任意选取所述数据副本集群中的一个数据节点作为当前数据节点；

或选取所述数据副本集群中数据版本最大的数据节点作为当前数据节点。

4.根据权利要求2所述的方法，其特征在于，所述当前数据节点获取本数据节点中不同于所述另一数据节点的数据，并将所述获取的数据写入至所述另一数据节点中，触发所述另一数据节点更新其数据版本包括：

所述当前数据节点依据其数据版本生成同步请求信息，并将所述同步请求信息发送至所述另一数据节点；

其中，所述同步请求信息包括所述当前数据节点的数据版本；

所述另一数据节点依据其数据版本及所述当前数据节点的数据版本生成同步回复信息，并将所述同步回复信息发送至所述当前数据节点；

其中，所述同步回复信息包括所述当前数据节点中不同于所述另一数据节点的数据的标识信息；

所述当前数据节点提取与所述同步回复信息中的标识信息相对应的数据，并将所述提取的数据写入至所述另一数据节点，触发所述另一数据节点更新其数据版本。

5.一种海量数据处理装置，其特征在于，应用于预设的分布式数据副本集群中存储有海量数据的数据节点；

其中，所述数据副本集群至少包括一个所述数据节点，所述每一数据节点至少与一个不同于本数据节点的另一数据节点相连；

所述装置包括计时单元、第一写入单元、第二写入单元和版本更新单元，其中：

所述计时单元，用于实时判断当前系统时间是否到达本数据节点的预设时间间隔点，如果是，触发本数据节点的所述第一写入单元；

所述第一写入单元，用于在所述当前系统时间到达所述时间间隔点时获取本数据节点中不同于与其相连的另一数据节点的数据，将所述获取的数据写入至所述另一数据节点，并触发所述另一数据节点的版本更新单元；

所述第二写入单元，在所述数据副本集群接收到更新请求信息，本数据节点被选取为当前数据节点时被触发，用于接收待更新数据，并将所述待更新数据写入至本数据节点，触发所述版本更新单元；

其中，所述待更新数据在所述数据副本集群接收到的更新请求信息中提取；

所述版本更新单元，用于更新本数据节点的数据版本。

6.根据权利要求5所述的装置，其特征在于，所述数据节点的数据版本包括被写入数据的标识信息；

所述版本更新单元，具体用于将所述本数据节点中被写入数据的标识信息添加至本数据节点的数据版本中。