[发明专利]基于异构数据源离线同步工具的数据采集方法及装置在审
申请号: | 202111483186.7 | 申请日: | 2021-12-07 |
公开(公告)号: | CN114218328A | 公开(公告)日: | 2022-03-22 |
发明(设计)人: | 刘杰;李森辉 | 申请(专利权)人: | 中信银行股份有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/335 |
代理公司: | 北京市兰台律师事务所 11354 | 代理人: | 操飞越;张峰 |
地址: | 100020 北京市朝阳区光*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 数据源 离线 同步 工具 数据 采集 方法 装置 | ||
1.一种基于异构数据源离线同步工具的数据采集方法,所述方法基于数据采集系统,所述数据采集系统包括后台服务器、配置数据库和若干个同步工具,所述配置数据库用于记录所述同步工具的配置信息,所述方法由后台服务器执行,所述方法包括:
针对每个同步工具,在该同步工具的状态为空闲时,在所述配置数据库中确定对应于该同步工具的配置信息,作为该同步工具的默认信息;
根据所述默认信息,对该同步工具进行配置;
在接收到数据采集指令时,确定该数据采集指令对应的同步工具,作为目标同步工具;
根据所述数据采集指令,确定该目标同步工具的配置信息,作为目标同步工具的配的目标信息;
根据目标信息对该目标同步工具进行配置;并且,根据目标信息,更新所述配置数据库中对应于该同步工具的配置信息;
采用配置后的各同步工具,进行数据采集。
2.根据权利要求1所述的方法,其特征在于,在所述方法之前,还包括:
针对每个预设的网段,确定该网段是否对应有同步工具;
若否,则在未对应有网段的同步工具中,确定该网段对应的同步工具。
3.根据权利要求1所述的方法,其特征在于,根据所述数据采集指令,确定该目标同步工具的配置信息,作为目标同步工具的配的目标信息,包括:
确定该目标同步工具当前的配置与所述数据采集指令是否匹配;
若否,则在所述配置数据库中,确定与该数据采集指令的匹配度最高的配置信息,作为目标同步工具的配的目标信息。
4.根据权利要求1所述的方法,其特征在于,所述数据采集系统还包括前端服务器;根据所述默认信息,对该同步工具进行配置,包括:
在接收到所述前端服务器发送的同步请求时,根据所述默认信息,对该同步工具进行配置。
5.根据权利要求4所述的方法,其特征在于,所述前端服务器包括交互界面,使得用户根据所述交互界面生成数据采集指令。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
确定所述前端服务器生成的配置调整请求对应的同步工具,作为待调整工具;
根据所述配置调整请求对应的调整信息,对所述配置数据库中对应于所述待调整工具的配置信息进行调整。
7.根据权利要求4所述的方法,其特征在于,所述方法还包括:
根据所述前端服务器生成的查询请求,获取所述配置数据库中对应于所述查询请求的信息,返回至所述前端服务器。
8.一种基于异构数据源离线同步工具的数据采集装置,其特征在于,所述装置基于数据采集系统,所述数据采集系统包括后台服务器、配置数据库和若干个同步工具,所述配置数据库用于记录所述同步工具的配置信息,所述装置用于所述后台服务器,所述装置包括:
默认信息确定模块,配置为针对每个同步工具,在该同步工具的状态为空闲时,在所述配置数据库中确定对应于该同步工具的配置信息,作为该同步工具的默认信息;
第一配置模块,配置为根据所述默认信息,对该同步工具进行配置;
目标同步工具确定模块,配置为在接收到数据采集指令时,确定该数据采集指令对应的同步工具,作为目标同步工具;
目标信息确定模块,配置为根据所述数据采集指令,确定该目标同步工具的配置信息,作为目标同步工具的配的目标信息;
第二配置模块,配置为根据目标信息对该目标同步工具进行配置;
更新模块,配置为根据目标信息,更新所述配置数据库中对应于该同步工具的配置信息;
采集模块,配置为采用配置后的各同步工具,进行数据采集。
9.一种电子设备,一个或多个处理器;
存储器;
一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于:执行上述权利要求1-7任一所述的方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1-7任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中信银行股份有限公司,未经中信银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111483186.7/1.html,转载请声明来源钻瓜专利网。