[发明专利]一种数据备份方法及流计算系统

权利要求书

1.一种流计算系统中的数据备份方法，所述流计算系统包括多个执行单元PE，用于对待处理的元组进行处理，所述多个执行单元包括：源PE和目的PE；其特征在于，所述数据备份方法包括：

所述目的PE接收所述源PE从发送队列发送的多个元组，并将所述多个元组缓存至所述目的PE的接收队列，所述多个元组中的每个元组都携带有表示该元组批次的批号；所述多个元组包括多个普通元组和多个检查点元组，不同的检查点元组具有不同的批号，所述发送队列中的两个检查点元组之间间隔有多个具有相同的批号的普通元组，且每个检查点元组的批号与其前相邻或后相邻的普通元组的批号相同；

所述目的PE从所述接收队列中读取第一检查点元组，所述第一检查点元组指示所述目的PE进行状态数据备份；

所述目的PE判断与所述第一检查点元组具有相同批号的所有普通元组是否都已处理完毕；

若与所述第一检查点元组具有相同批号的所有普通元组都已处理完毕，则所述目的PE将自身的状态数据进行备份。

2.根据权利要求1所述的数据备份方法，其特征在于，还包括：

所述目的PE从所述接收队列中读取第二检查点元组，所述第二检查点元组指示所述目的PE进行状态数据恢复；

所述目的PE加载自身备份的状态数据，并基于所述备份的状态数据进行状态恢复。

3.根据权利要求1所述的数据备份方法，其特征在于，所述目的PE中保存有检查点状态信息，所述检查点状态信息包括：当前批号以及元组到齐标记；所述当前批号指示所述目的PE当前处理的元组的批号；

所述目的PE判断与所述第一检查点元组具有相同批号的所有普通元组是否都已处理完毕包括：

所述目的PE根据所述检查点状态信息中的所述当前批号和所述元组到齐标记确定与所述第一检查点元组具有相同批号的所有普通元组是否都已处理完毕。

4.根据权利要求1-3任一项所述的数据备份方法，其特征在于，还包括：

所述目的PE从所述接收队列中读取第三检查点元组，所述第三检查点元组指示所述目的PE进行状态数据清理；

所述目的PE清理自身备份的状态数据。

5.根据权利要求3所述的数据备份方法，其特征在于，还包括：所述目的PE清理所述检查点状态信息。

6.根据权利要求5所述的数据备份方法，其特征在于，所述清理所述检查点状态信息包括：

将所述检查点状态信息中的所述当前批号加1，并将所述元组到齐标记清零。

7.根据权利要求2所述的数据备份方法，其特征在于，所述流计算系统还包括：分布式存储器；

所述目的PE将自身的状态数据进行备份包括：

所述目的PE通过调用第一接口将当前的状态数据缓存到本地内存；

所述目的PE通过第二接口调用备份与恢复模块，以使所述备份与恢复模块启动备份线程，将所述本地内存中的状态数据备份至所述分布式存储器。

8.根据权利要求7所述的数据备份方法，其特征在于，所述目的PE加载自身备份的状态数据，并基于所述备份的状态数据进行状态恢复包括：

所述目的PE从所述分布式存储器中加载所述目的PE最近一次备份的状态数据，并基于所述最近一次备份的状态数据进行状态恢复。

9.根据权利要求3、5或6所述的数据备份方法，其特征在于，还包括：

所述目的PE从所述接收队列中读取第一普通元组；

如果所述第一普通元组的批号等于所述当前批号，则对所述第一普通元组进行处理；

如果所述第一普通元组的批号大于所述当前批号，则将所述第一普通元组加入缓存队列，并更新所述检查点状态信息中的元组到齐标记。