[发明专利]一种数据库处理方法及系统

权利要求书

1.一种数据库处理方法，其特征在于，包括以下步骤：

S1、清洗加工下发的新业务数据，并将所述新业务数据进行分号段处理；

判断是否初始化数据库，若无需初始化数据库，则判断是否校准数据库，若无需校准数据库，则执行所述步骤S2；

S2、选择一个或多个号段下的新业务数据，对比缓存数据库中的业务数据与所选的新业务数据，根据主要变动字段下的数据是否一致来判断所选的新业务数据中是否存在与所述缓存数据库中的业务数据不一致的数据；

S3、若存在与所述不一致的数据，则标记所述不一致的数据，并将其存入缓存数据库中，从所述缓存数据库中选择一个或多个号段下的数据分批存入数据库中。

2.如权利要求1所述的一种数据库处理方法，其特征在于，在所述步骤S1后还包括：

若需要初始化数据库，则将所述新业务数据的号段与需要初始化业务数据的号段进行匹配，

若匹配成功，则将所述新业务数据缓存至所述缓存数据库中，每个批次抽取所述缓存数据库中的一个或多个号段下的新业务数据，分批将所选的新业务数据存入数据库，

若匹配不成功，则丢弃所选的新业务数据；

若否，则执行所述步骤S2。

3.如权利要求2所述的一种数据库处理方法，其特征在于，所述判断是否初始化数据库为判断缓存数据库中是否存在与新业务数据的号段一致的号段。

4.如权利要求2或3所述的一种数据库处理方法，其特征在于，在判断是否初始化数据库的结果为否后还包括：

若需要校准数据库，则将所述新业务数据缓存至所述缓存数据库中，每个批次抽取所述缓存数据库中的一个或多个号段下的新业务数据，分批将所选的新业务数据存入数据库；

若否，则执行所述步骤S2。

5.如权利要求4所述的一种数据库处理方法，其特征在于，所述判断是否校准数据库为判断当前时间是否到达预设校准数据库的时间。

6.如权利要求1所述的一种数据库处理方法，其特征在于，所述清洗加工业务数据包括：设计所述新业务数据的主键；利用哈希、加盐以及反转中的任意一种或多种方式均匀分布所述新业务数据；删除重复的新业务数据、补充或删除缺失的新业务数据、删除无效的新业务数据。

7.如权利要求6所述的一种数据库处理方法，其特征在于，所述将新业务数据进行分号段处理为按照所述主键对所述下发的业务数据进行编号。

8.基于权利要求1～7任意一项所述的一种数据库处理方法的一种数据库处理系统，其特征在于，包括：

业务系统，用于提供新业务数据；

数据消息系统Kafka，用于下发所述新业务数据；

分布式实时计算工具STORM，用于执行所述步骤S1和S2以及S3中的标记所述不一致的数据，包括：初始化判断模块和校准数据库判断模块，所述初始化判断模块用于判断是否初始化数据库，所述校准数据库判断模块，用于判断是否校准数据库；

缓存数据库HBASE，用于缓存新业务数据以及所述不一致的数据；

数据库DB2，用于存储新业务数据以及所述不一致的数据。

9.如权利要求8所述的一种数据库处理系统，其特征在于，所述初始化判断模块，还用于将所述新业务数据的号段与需要初始化业务数据的号段进行匹配。