[发明专利]一种海量数据的处理方法和装置

摘要

本申请提供一种海量数据的处理方法和装置。该方法包括：当数据的流入速度大于数据的处理速度时，确定超出处理速度的待处理数据的优先级；将待处理数据的关键数据保存至与其优先级对应的泄洪文件中，关键数据包括对待处理数据进行处理所需要的数据；当触发恢复操作时，从恢复操作指定的优先级对应的泄洪文件中获取保存的关键数据；对关键数据进行处理，以实现对对应待处理数据的处理。本申请设备在数据量暴涨时，将无法及时处理的待处理数据的关键数据保存到与其优先级对应的泄洪文件中，以缓解设备的处理压力，避免设备崩溃。当数据量正常时，可以有选择性的触发面向不同优先级泄洪文件的恢复操作，最终确保数据的一致性，且成本低廉。

主权项

一种海量数据的处理方法，其特征在于，所述方法包括：当数据的流入速度大于数据的处理速度时，确定超出所述处理速度的待处理数据的优先级；将所述待处理数据的关键数据保存至与所述优先级对应的泄洪文件中，所述关键数据包括对所述待处理数据进行处理所需要的数据；当触发恢复操作时，从恢复操作指定的优先级对应的泄洪文件中获取保存的关键数据；对所述关键数据进行处理，以实现对对应待处理数据的处理。