[发明专利]数据清理方法和装置

权利要求书

1.一种数据清理方法，其特征在于，用于清理分布式数据库中的数据，所述方法包括：

获取数据清理时间，所述数据清理时间为历史接收到数据清理请求时记录的时间，所述数据清理请求用于清理所述分布式数据库中满足清理条件的数据；

获取所述分布式数据库中不满足所述清理条件的数据，以及满足所述清理条件但数据存储时间晚于所述数据清理时间的数据；

在所述分布式数据库中合并获取到的所述数据；

所述分布式数据库包括n个数据文件，n为大于等于2的整数；

当所述清理条件包括清理全表的数据时，所述获取所述分布式数据库中不满足所述清理条件的数据，以及满足所述清理条件但数据存储时间晚于所述数据清理时间的数据，包括：

对于所述n个文件中的每个文件，获取所述文件中的各条数据所对应的最大时间戳以及最小时间戳；

若所述最大时间戳早于所述数据清理时间，则跳过所述文件；

若所述最大时间戳晚于所述数据清理时间且所述最小时间戳早于所述数据清理时间，则遍历所述文件中的各条数据，读取时间戳晚于所述数据清理时间的数据；

若所述最小时间戳晚于所述数据清理时间，则读取所述文件中的各条数据。

2.根据权利要求1所述的方法，其特征在于，当所述清理条件包括清理全表的数据时，所述获取数据清理时间之前，所述方法还包括：

接收所述数据清理请求；

在所述全表所对应的属性描述文件中，将接收到所述数据清理请求的时间记录为所述数据清理时间；

所述获取数据清理时间，包括：

从所述属性描述文件中读取所述数据清理时间。

3.根据权利要求1所述的方法，其特征在于，当所述清理条件包括清理全表中预设标签的数据时，所述获取所述分布式数据库中不满足所述清理条件的数据，以及满足所述清理条件但数据存储时间晚于所述数据清理时间的数据，包括：

对于所述n个文件中的每个文件，获取所述文件中的各条数据所对应的最大时间戳以及最小时间戳；

若所述最大时间戳早于所述数据清理时间，则读取所述文件中除所述预设标签之外的其他标签的数据；

若所述最大时间戳晚于所述数据清理时间且所述最小时间戳早于所述数据清理时间，则遍历所述文件中的各条数据，读取时间戳早于所述数据清理时间的各条数据中除所述预设标签之外的其他标签的数据，且读取时间戳晚于所述数据清理时间的数据；

若所述最小时间戳晚于所述数据清理时间，则读取所述文件中的各条数据。

4.根据权利要求3所述的方法，其特征在于，当所述清理条件包括清理全表中预设标签的数据时，所述获取数据清理时间之前，所述方法还包括：

接收所述数据清理请求，所述数据清理请求用于请求清理预设标签的数据；

在所述预设标签所对应的属性描述文件中，将接收到所述数据清理请求的时间记录为所述数据清理时间；

所述获取数据清理时间，包括：

从所述属性描述文件中读取所述数据清理时间。

5.根据权利要求1至4任一所述的方法，其特征在于，所述获取数据清理时间之前，还包括：

接收数据获取请求；

在接收到所述数据获取请求之后，获取所述数据清理时间。

6.根据权利要求1至4任一所述的方法，其特征在于，所述在所述分布式数据库中合并获取到的所述数据，包括：

在满足数据合并条件时，在所述分布式数据库中合并获取到的所述数据；所述数据合并条件包括：获取到的所述数据所属的文件的总个数达到预设个数，或者，接收到数据合并请求。