[发明专利]一种基于内存的分布式异常数据处理方法和设备

说明书

本发明公开了一种基于内存的分布式异常数据处理方法，同时还公开了一种基于内存进行分布式异常数据处理的计算机设备。在该分布式异常数据处理方法中，对正常数据处理模块中的待备份数据建立有序集合，根据有序集合中的score确定备份模块的轮询顺序，基于备份数据的类型和处理状态进行相应处理，确保备份数据能够被准确的恢复和删除。

技术领域

本发明涉及一种基于内存的分布式异常数据处理方法，同时还涉及一种基于内存进行分布式异常数据处理的计算机设备，属于计算机数据处理技术领域。

背景技术

在大型的服务器一侧的业务数据处理中，经常会由于各种不同的原因导致一些数据在数据处理的某一个或某几个处理节点没有完成正常的数据处理，而成为异常数据。对于这些没有完成正常数据的异常数据，通常会进行备份处理，以便在服务器的数据处理的空闲时期或其他预定时间进行相应的处理，从而保证数据的整体的完整性和准确性。

然而，异常数据包含的种类繁杂多样，对应的处理状态也多种多样，如何在具体的应用场景中，完成对异常数据进行要有效的恢复处理，成为亟需解决的技术问题。

发明内容

本发明所要解决的首要技术问题在于提供一种基于内存的分布式异常数据处理方法。

本发明所要解决的另一技术问题在于提供一种基于内存进行分布式异常数据处理的计算机设备。

为实现上述目的，本发明采用下述的技术方案：

根据本发明实施例的第一方面，提供一种基于内存的分布式异常数据处理方法，包括如下步骤：复数个正常数据处理模块开始业务数据处理，将所述业务数据处理中的待备份数据建立备份数据集合，所述备份数据集合是按照时间顺序排列的有序集合；在所述正常数据处理模块开始之后的预定时间，备份数据处理模块开始对所述复数个正常数据处理模块的轮询；在所述备份数据处理模块的轮询中，查询所述复数个正常数据处理模块中的第一正常数据处理模块的备份数据集合是否有小于当前时间戳的备份数据；响应于所述第一正常数据处理模块的备份数据集合有小于当前时间戳的备份数据，获取所述备份数据的数据类型和数据处理状态，根据所述数据类型和数据处理状态进行相应的备份处理。

根据本发明实施例的第二方面，提供一种计算机设备，包括存储器和处理器，其中，所述存储器，配置为存储计算机指令；所述处理器，配置为运行所述计算机指令以使得所述计算机设备执行：复数个正常数据处理模块开始业务数据处理，将所述业务数据处理中的待备份数据建立备份数据集合，所述备份数据集合是按照时间顺序排列的有序集合；在所述正常数据处理模块开始之后的预定时间，备份数据处理模块开始对所述复数个正常数据处理模块的轮询；在所述备份数据处理模块的轮询中，查询所述复数个正常数据处理模块中的第一正常数据处理模块的备份数据集合是否有小于当前时间戳的备份数据；响应于所述第一正常数据处理模块的备份数据集合有小于当前时间戳的备份数据，获取所述备份数据的数据类型和数据处理状态，根据所述数据类型和数据处理状态进行相应的备份处理。

与现有技术相比较，本发明通过建立备份模块轮询，轮询每个模块的备份集合，检查有序集合的score，根据数据类型和数据处理状态进行相应的处理，在异常数据积压时，在保证正常数据处理的同时，准确的进行数据清理和数据恢复，保证异常数据被及时处理。

附图说明

图1示出了根据本发明实施例的基于内存的分布式异常数据处理方法的流程示意图。

图2示出了根据本发明实施例的备份数据处理模块的轮询处理的部分流程示意图。

图3示出了根据本发明实施例的nul l类型数据处理的流程示意图。

图4示出了根据本发明实施例的hash类型数据处理的流程示意图。

图5示出了根据本发明实施例的string类型数据处理的流程示意图。