[发明专利]一种海量数据的处理方法和装置

说明书

本申请提供一种海量数据的处理方法和装置。该方法包括：当数据的流入速度大于数据的处理速度时，确定超出处理速度的待处理数据的优先级；将待处理数据的关键数据保存至与其优先级对应的泄洪文件中，关键数据包括对待处理数据进行处理所需要的数据；当触发恢复操作时，从恢复操作指定的优先级对应的泄洪文件中获取保存的关键数据；对关键数据进行处理，以实现对对应待处理数据的处理。本申请设备在数据量暴涨时，将无法及时处理的待处理数据的关键数据保存到与其优先级对应的泄洪文件中，以缓解设备的处理压力，避免设备崩溃。当数据量正常时，可以有选择性的触发面向不同优先级泄洪文件的恢复操作，最终确保数据的一致性，且成本低廉。

技术领域

本申请涉及通信技术领域，尤其涉及一种海量数据的处理方法和装置。

背景技术

随着互联网技术的快速发展，越来越多的业务可以通过网络实现。当大量业务集中爆发时，比如：“双十一”、“双十二”等，服务提供商的部署的各种设备就会面临巨大的处理压力，如何应对这种瞬时或短期内数据量的暴涨已成为亟待解决的问题。

发明内容

有鉴于此，本申请提供一种海量数据的处理方法和装置。

具体地，本申请是通过如下技术方案实现的：

一种海量数据的处理方法，所述方法包括：

当数据的流入速度大于数据的处理速度时，确定超出所述处理速度的待处理数据的优先级；

将所述待处理数据的关键数据保存至与所述优先级对应的泄洪文件中，所述关键数据包括对所述待处理数据进行处理所需要的数据；

当触发恢复操作时，从恢复操作指定的优先级对应的泄洪文件中获取保存的关键数据；

对所述关键数据进行处理，以实现对对应待处理数据的处理。

一种海量数据的处理装置，所述装置包括：

确定单元，当数据的流入速度大于数据的处理速度时，确定超出所述处理速度的待处理数据的优先级；

保存单元，将所述待处理数据的关键数据保存至与所述优先级对应的泄洪文件中，所述关键数据包括对所述待处理数据进行处理所需要的数据；

获取单元，当触发恢复操作时，从恢复操作指定的优先级对应的泄洪文件中获取保存的关键数据；

处理单元，对所述关键数据进行处理，以实现对对应待处理数据的处理。

由以上描述可以看出，本申请设备可以在数据量暴涨时，可将设备无法及时处理的待处理数据的关键数据保存到与其优先级对应的泄洪文件中，以缓解设备的处理压力，避免设备崩溃。当数据量正常时，可以有选择性的触发面向不同优先级泄洪文件的恢复操作，最终确保数据的一致性，且成本低廉。

附图说明

图1是本申请一示例性实施例示出的一种海量数据的处理方法的流程示意图。

图2是本申请一示例性实施例示出的一种用于海量数据处理的系统架构图。

图3是本申请一示例性实施例示出的一种用于海量数据的处理装置的一结构示意图。

图4是本申请一示例性实施例示出的一种海量数据的处理装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。