[发明专利]一种数据库处理方法及系统

说明书

本发明公开了一种数据库处理方法及系统，所述方法包括以下步骤：S1、清洗加工下发的新业务数据，并将所述新业务数据进行分号段处理；S2、选择一个或多个号段下的新业务数据，对比缓存数据库中的业务数据与所选的新业务数据，根据主要变动字段下的数据是否一致来判断所选的新业务数据中是否存在与所述缓存数据库中的业务数据不一致的数据；S3、若存在与所述不一致的数据，则标记所述不一致的数据，并将其存入缓存数据库和数据库中。本发明对业务系统整体的架构和设计做了调整，在对数据库进行更新操作时，先通过与缓存数据库中对比，实现预先过滤业务数据，缓解了海量数据直接入库的压力。

技术领域

本发明涉及计算机技术领域，特别涉及一种数据库处理方法及系统。

背景技术

随着计算机通讯技术的发展，业务系统的数据量越来越庞大，针对业务系统的海量数据备份问题也越来越突出，尤其是将数据备份到生产环境上的数据库操作，更是一个比较棘手的问题。现有技术中数据库的备份操作分为三种：全量备份、增量备份以及差异备份。所谓全量备份就是指对某一个时间点上的所有数据或应用进行的一个完全拷贝，全量备份利于数据的快速恢复，但由于全量备份会在数据库中存入大量的数据，这其中可能带有重复的数据，因此备份时间较长。增量备份是指在一次全备份或上一次增量备份后，以后每次的备份只需备份与前一次相比增加或者被修改的文件，增量备份相对于全量备份需要存入的数据量较小，但是不利于数据的恢复。差异备份是指在一次全备份后到进行差异备份的这段时间内，只对那些增加或者修改文件备份，在进行恢复时，只需对第一次全量备份和最后一次差异备份进行恢复，差异备份结合了全量备份易恢复和备份数据量小的优点。但是无论是上述哪种做法均是是将业务数据采集后直接存入传统关系型数据库，对于海量数据来说耗费的入库时间很长，而且对于数据库的IO以及CPU来说压力都很大，并且存在锁表的风险。尤其在生产环境，将海量数量直接更新到数据库的方法容易造成数据库瘫痪，从而影响系统中其它应用的运行。

发明内容

为了解决现有技术的问题，本发明提供了一种数据库处理方法及系统。所述技术方案如下：

一方面本发明提供一种数据库处理方法，包括以下步骤：

S1、清洗加工下发的新业务数据，并将所述新业务数据进行分号段处理；

S2、选择一个或多个号段下的新业务数据，对比缓存数据库中的业务数据与所选的新业务数据，根据主要变动字段下的数据是否一致来判断所选的新业务数据中是否存在与所述缓存数据库中的业务数据不一致的数据；

S3、若存在与所述不一致的数据，则标记所述不一致的数据，并将其存入缓存数据库和数据库中。

进一步地，在所述步骤S1后还包括：

判断是否初始化数据库；

若是，则将所述新业务数据的号段与需要初始化业务数据的号段进行匹配，

若匹配成功，则将所述新业务数据缓存至所述缓存数据库中，每个批次抽取所述缓存数据库中的一个或多个号段下的新业务数据，分批将所选的新业务数据存入数据库，

若匹配不成功，则丢弃所选的新业务数据；

若否，则执行所述步骤S2。

进一步地，所述判断是否初始化数据库为判断缓存数据库中是否存在与新业务数据的号段一致的号段。

进一步地，在判断是否初始化数据库的结果为否后还包括：

判断是否校准数据库；

若是，则将所述新业务数据缓存至所述缓存数据库中，每个批次抽取所述缓存数据库中的一个或多个号段下的新业务数据，分批将所选的新业务数据存入数据库；

若否，则执行所述步骤S2。