[发明专利]数据处理方法及装置

说明书

技术领域

本发明实施例涉及数据处理技术领域，尤其是一种数据处理方法及装置。

背景技术

实际应用中，文件系统中存储的数据具有很大的随机性，且数据之间缺乏必要的关联性，因此，数据的存储、删除、修改通常是以单项数据为单位进行操作，每次操作至少需要一次磁盘的读写操作，也称为磁盘输入输出(Input Output，简称IO)。

图1为现有技术中磁盘数据操作的一种应用示意图。如图1所示，时刻1，数据树中包含待处理数据a、b、c、d、e、f、g、h、i、j、k的数据信息，分别以a、b、c、d、e、f、g、h、i、j、k表示；时刻2，处理数据a后，将数据a的数据信息从数据树中删除，需要至少一次磁盘IO；时刻3(图中未示出)，处理数据f后，将数据f的数据信息从数据树中删除，需要至少一次磁盘IO；时刻4，有新数据z需处理，将新数据z的数据信息插入数据树中。可以看出，每处理一项数据都需要至少一次磁盘IO去删除数据树中该项数据的数据信息。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：由于磁盘的操作性能相对较低，因此降低了磁盘数据树的整体性能。

发明内容

本发明实施例提供一种数据处理方法及装置，用以解决现有技术中以由于磁盘的操作性能相对较低，降低了磁盘数据树的整体性能的问题。

一方面，本发明实施例提供了一种数据处理方法，包括：

将第一数据树的节点中保存的多个待处理数据的数据信息写入内存中，所述待处理数据的数据信息用于唯一标识所述待处理数据；

将所述多个待处理数据分成所述至少两组，在预先生成的管理数据中添加各组的状态值，以指示各组的待处理数据待处理；

在内存中对各组待处理数据进行处理，在每组待处理数据处理完之后，实时更新所述管理数据中每组待处理数据的状态值，以指示每组待处理数据已处理；

根据所述管理数据中更新后的各组待处理数据的状态值删除所述第一数据树中保存所述多个待处理数据的数据信息的所述节点。

另一方面，本发明实施例提供了一种数据处理装置，包括：

读取模块，用于将第一数据树的节点中保存的多个待处理数据的数据信息写入内存中，所述待处理数据的数据信息用于唯一标识所述待处理数据；

分组模块，用于将所述多个待处理数据分成所述至少两组，在预先生成的管理数据中添加各组待处理数据的状态值，以指示各组待处理数据待处理；

处理模块，用于在内存中对各组待处理数据进行处理，在每组待处理数据处理完之后，实时更新所述管理数据中每组待处理数据的状态值，以指示每组待处理数据已处理；

删除模块，用于根据所述管理数据中更新后的各组待处理数据的状态值删除所述第一数据树中保存所述多个待处理数据的数据信息的所述节点。

以上多个技术方案中的至少一个技术方案具有如下优点或有益效果：

本发明实施例采用在内存中将多个待处理数据分组，对各组待处理数据进行处理后更新磁盘中该组的状态值以指示该组的待处理数据已处理，再根据更新后的各组的状态值确定各组的待处理数据已处理后，删除磁盘中第一数据树中保存所述多个待处理数据的数据信息的节点的技术手段，克服了现有技术中以单项数据为单位进行磁盘IO大大地降低了磁盘数据树的整体性能的问题，每处理完一组待处理数据处理后只需通过一次磁盘IO修改状态值，且所有待处理数据处理完后只需通过一次磁盘IO删除保存所述多个待处理数据的数据信息的所有节点，避免了大量的磁盘IO，提高了磁盘数据树的操作性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中磁盘数据操作的一种应用示意图；

图2为本发明实施例提供的一种数据处理方法的流程示意图；

图3为本发明实施例提供的一种数据处理方法的又一流程示意图；

图4为一个3阶B+树的示意图；

图5为本发明实施例中新的数据结构的示意图；

图6为本发明实施例提供的数据处理装置的结构示意图。

具体实施方式