[发明专利]一种快速数据源接入方法

权利要求书

1.一种快速数据源接入方法，应用于包括源端数据库、中转数据库、缓存数据库和目标数据库的系统中，其特征在于，所述方法包括：

在源端数据库中，根据数据属性划分数据表类型，将所需接入的数据表导出为预设格式文件，同时记录存量数据范围并区分存量数据和增量数据；

将预设格式文件的存量数据导入到中转数据库中，并将中转数据库中的数据导入目标数据库，导入成功后删除中转数据库中的数据；

将源端数据库中的增量数据按照预设同步速率同步复制到缓存数据库中，且添加增删改标识和时间戳字段，再将缓存数据库中的增量数据解析转换后按照预设接入频率接入目标数据库；

在源端数据库向缓存数据库同步数据时，获取同步信息，根据同步信息实时更新同步速率，在缓存数据库向目标数据库解析接入时，获取解析接入信息，根据解析接入信息实时更新接入频率。

2.如权利要求1所述的方法，其特征在于，在获取同步信息之后，所述方法还包括：

同步信息包括平均每条数据同步时间；

若平均每条数据同步时间大于第一预设时间阈值，则根据同步信息实时更新同步速率；

若平均每条数据同步时间不大于第一预设时间阈值，则不更新同步速率。

3.如权利要求1所述的方法，其特征在于，在获取解析接入信息之后，所述方法还包括：

解析接入信息包括全部数据解析完成时间；

若全部数据解析完成时间大于第二预设时间阈值，则根据解析接入信息同步更新接入频率；

若全部数据解析完成时间不大于第二预设时间阈值，则不更新接入频率。

4.如权利要求2所述的方法，其特征在于，根据同步信息实时更新同步速率，包括：

同步信息还包括源端和目标端服务器性能信息、增删改时间和源端数据库流入数据，源端服务器性能信息包括源端平均CPU使用率和源端内存消耗，目标端服务器性能信息包括目标端平均CPU使用率和目标端内存消耗；

根据源端平均CPU使用率、源端内存消耗、增删改时间和源端数据库流入数据建立第一源端修正数组，并根据第一源端修正数组得到第一影响值；

根据目标端平均CPU使用率和目标端内存消耗建立第一目标端修正数组，并根据第一目标端修正数组得到第二影响值；

基于第一影响值和第二影响值确定同步过程影响值，基于同步过程影响值和数据表类型对同步速率进行更新。

5.如权利要求4所述的方法，其特征在于，根据源端平均CPU使用率、源端内存消耗、增删改时间和源端数据库流入数据建立第一源端修正数组，并根据第一源端修正数组得到第一影响值，包括：

基于源端平均CPU使用率、源端内存消耗、增删改时间、源端数据库流入数据和第一预设权重得到多个影响分数；

基于多个影响分数之间的大小关系确定第一源端修正数组的位置顺序，按照位置顺序构建第一源端修正数组；

基于第一源端修正数组中位置顺序对应的本位因子和第一源端修正数组得到第一影响值。

6.如权利要求4所述的方法，其特征在于，根据目标端平均CPU使用率和目标端内存消耗建立第一目标端修正数组，并根据第一目标端修正数组得到第二影响值，包括：

基于目标端平均CPU使用率、目标端内存消耗和第二预设权重得到两者对应的影响分数；

基于影响分数之间的大小关系确定第一目标端修正数组的位置顺序，按照位置顺序构建第一目标端修正数组；

基于第一目标端修正数组中位置顺序对应的本位因子和第一目标端修正数组得到第二影响值。

7.如权利要求5或6所述的方法，其特征在于，基于同步过程影响值和数据表类型对同步速率进行更新，包括：

根据数据表类型确定同步过程影响两侧端点值，基于同步过程影响两侧端点值选取多个预设同步过程影响值；

基于同步过程影响值与多个预设同步过程影响值之间的关系确定更新系数，基于更新系数对预设同步速率进行更新。