[发明专利]定期清除数据库数据的方法和系统和计算机可读存储介质

说明书

提供了一种定期清除数据库数据的系统，所述系统包括：双写管理模块，配置为将数据写入第一和第二数据源；数据源管理模块，配置针对数据读取操作分配第一和第二数据源之一，并在第一和第二数据源之间进行切换；定期切换模块，配置为根据设定周期来请求数据源管理模块在第一和第二数据源之间进行切换；以及数据清理模块，配置为响应于数据源管理模块将第一数据源切换到第二数据源，清空所述第一数据源中的数据。

技术领域

本发明涉及计算机领域，具体地，涉及一种定期清除数据库数据的方法和系统。

背景技术

随着互联网技术的发展，很多行业都已经进入了海量数据时代。在互联网应用中，业务数据的量级通常达到千万级、甚至亿级数据量。然而，互联网应用的特点是往往不需要访问过期的数据，比如，一年前的数据，几个月前的数据，甚至是无需访问几个星期前的数据。互联网应用所记录的数据量往往很大，即使分表之后，也需要将历史数据归档后删除掉。

现在通常通过不断删除历史数据的方法来清除数据库。然而，采用delete来删除历史数据的方法往往效率低下，且不会释放空间，还会导致磁盘碎片。这种使用delete来删除数据的方法效率极低，且容易导致数据库负载上升，影响正常读写操作。此外，在不断delete的操作中，如果自增主键，则主键持续递增，长期很容易越界，且在删除数据之后不释放空间。

鉴于此，本申请提供了一种定期清除数据库数据的方法和系统，可以大大提高删除效率，既能在删除后释放空间，又能避免频繁delete导致的磁盘碎片问题，并且不会影响应用的正常读写。

发明内容

为了至少解决上述问题，本发明提供了一种定期清除数据库数据的方法和系统。

根据本发明的第一方面，提供了一种定期清除数据库数据的系统，可以包括：双写管理模块，配置为将数据写入第一和第二数据源；数据源管理模块，配置针对数据读取操作分配第一和第二数据源之一，并在第一和第二数据源之间进行切换；定期切换模块，配置为根据设定周期来请求数据源管理模块在第一和第二数据源之间进行切换；数据清理模块，配置为响应于数据源管理模块将第一数据源切换到第二数据源，清空所述第一数据源中的数据。

优选地，所述系统还可以包括：数据归档模块，配置为对数据进行归档。

优选地，所述系统还可以包括：索引管理模块，配置为管理针对第一和第二数据源的索引。

优选地，所述数据清理模块可以配置为响应于数据源管理模块将第一数据源切换到第二数据源，对所述第一数据源执行truncate清空。

优选地，所述索引管理模块可以配置为在清空所述第一数据源中的数据之后，重建所述第一数据源的索引。

优选地，所述双写管理模块可以配置为同步地或异步地将数据写入第一和第二数据源。

优选地，所述双写管理模块可以配置为如果将数据写入第一和第二数据源失败，则分别将写入失败的数据存放至对应缓存队列；以及通过独立的入库线程来将所述写入失败的数据再次写入相应数据源，直到将所述写入失败的数据写入所述第一和第二数据源为止。

优选地，所述双写管理模块还可以配置为响应于写入失败的次数超过预定次数，则进行报警以便确保将所有数据写入第一和第二数据源。

根据本发明的第二方面，还提供了一种定期清除数据库数据的方法，可以包括：将数据写入第一和第二数据源；针对数据读取操作分配第一和第二数据源之一；以及在第一和第二数据源之间进行切换，其中所述切换包括：根据设定周期，在第一和第二数据源之间进行切换；以及响应于将第一数据源切换至第二数据源，清空所述第一数据源中的数据。

优选地，所述方法可以包括：响应于将第一数据源切换到第二数据源，对所述第一数据源执行truncate清空。