[发明专利]一种海量数据的处理方法和装置

权利要求书

1.一种海量数据的处理方法，其特征在于，所述方法包括：

当数据的流入速度大于数据的处理速度时，确定超出所述处理速度的待处理数据的优先级；

将所述待处理数据的关键数据保存至与所述优先级对应的泄洪文件中；

当触发恢复操作时，从恢复操作指定的优先级对应的泄洪文件中获取保存的关键数据；

对所述关键数据进行处理，以实现对对应待处理数据的处理；

所述待处理数据包括：业务数据和数据来源；

所述将所述待处理数据的关键数据保存至与所述优先级对应的泄洪文件中，包括：

根据所述数据来源确定所述待处理数据的处理规则标识；

将所述待处理数据的业务数据和所述处理规则标识作为所述关键数据保存至与所述优先级对应的泄洪文件中；

所述对所述关键数据进行处理，包括：

基于所述关键数据中的处理规则标识确定对应的处理规则，根据确定的处理规则对所述业务数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述确定超出所述处理速度的待处理数据的优先级，包括：

识别所述待处理数据的业务类型；

将所述业务类型的优先级确定为所述待处理数据的优先级。

3.根据权利要求1所述的方法，其特征在于，

当数据入队列的饱和度小于预设的阈值时，确定触发面向优先级最高的泄洪文件的恢复操作。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据预设的规则生成监控日志，所述监控日志用于向管理员告警数据的流入速度大于数据的处理速度；

在接收到管理员发送的恢复指令时，确定触发恢复操作，所述恢复指令中携带有指定的优先级。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当触发恢复操作后，如果再次确认数据的流入速度大于数据的处理速度，则停止恢复操作。

6.一种海量数据的处理装置，其特征在于，所述装置包括：

确定单元，当数据的流入速度大于数据的处理速度时，确定超出所述处理速度的待处理数据的优先级；

保存单元，将所述待处理数据的关键数据保存至与所述优先级对应的泄洪文件中；

获取单元，当触发恢复操作时，从恢复操作指定的优先级对应的泄洪文件中获取保存的关键数据；

处理单元，对所述关键数据进行处理，以实现对对应待处理数据的处理；

所述待处理数据包括：业务数据和数据来源；

所述保存单元，具体根据所述数据来源确定所述待处理数据的处理规则标识，将所述待处理数据的业务数据和所述处理规则标识作为所述关键数据保存至与所述优先级对应的泄洪文件中；

所述处理单元，具体基于所述关键数据中的处理规则标识确定对应的处理规则，根据确定的处理规则对所述业务数据进行处理。

7.根据权利要求6所述的装置，其特征在于，

所述确定单元，具体识别所述待处理数据的业务类型，并将所述业务类型的优先级确定为所述待处理数据的优先级。

8.根据权利要求6所述的装置，其特征在于，

所述获取单元，在数据入队列的饱和度小于预设的阈值时，确定触发面向优先级最高的泄洪文件的恢复操作。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

生成单元，根据预设的规则生成监控日志，所述监控日志用于向管理员告警数据的流入速度大于数据的处理速度；

所述确定单元，在接收到管理员发送的恢复指令时，确定触发恢复操作，所述恢复指令中携带有指定的优先级。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

停止单元，当触发恢复操作后，如果再次确认数据的流入速度大于数据的处理速度，则停止恢复操作。