[发明专利]基于异构数据源离线同步工具的数据采集方法及装置

说明书

本申请提供了一种基于异构数据源离线同步工具的数据采集方法及装置，一方面，采用配置数据库中记录的配置信息作为同步工具默认的配置，有效的降低了对同步工具进行配置所消耗的资源。另一方面，根据接收到数据采集指令对同步工具进行配置，能够使得同步工具能够契合数据采集指令，有利于实现数据采集效果。

技术领域

本申请涉及数据采集技术领域，具体而言，本申请涉及一种基于异构数据源离线同步工具的数据采集方法及装置。

背景技术

随着信息社会的发展，大数据分析等技术的高速发展，对大量的、类型各异的信息数据进行整合，实现信息共享和内部信息一体化，已变得越来越重要。当前各个企业的信息化发展大都存在异构数据源同步难度大的问题。

一般来说，数据采集的过程需借由同步工具执行，在采用同步工具进行数据采集之前，需对根据用户的需求、数据源的情况等信息对同步工具进行配置。然而，该针对同步工具进行配置工作往往专业性较高，过程较为复杂，进而影响到到基于同步工具个数据采集效率。

发明内容

本申请提供了一针基于异构数据源离线同步工具的数据采集方法及装置，有效地降低了对同步工具的配置难度，有效的改善了数据采集的效果，本申请采用的技术方案如下：

第一方面，提供了一种基于异构数据源离线同步工具的数据采集方法，所述方法基于数据采集系统，所述数据采集系统包括后台服务器、配置数据库和若干个同步工具，所述配置数据库用于记录所述同步工具的配置信息，所述方法由后台服务器执行，所述方法包括：

针对每个同步工具，在该同步工具的状态为空闲时，在所述配置数据库中确定对应于该同步工具的配置信息，作为该同步工具的默认信息；

根据所述默认信息，对该同步工具进行配置；

在接收到数据采集指令时，确定该数据采集指令对应的同步工具，作为目标同步工具；

根据所述数据采集指令，确定该目标同步工具的配置信息，作为目标同步工具的配的目标信息；

根据目标信息对该目标同步工具进行配置；并且，根据目标信息，更新所述配置数据库中对应于该同步工具的配置信息；

采用配置后的各同步工具，进行数据采集。

在一个可选的实施例中，在所述方法之前，还包括：

针对每个预设的网段，确定该网段是否对应有同步工具；

若否，则在未对应有网段的同步工具中，确定该网段对应的同步工具。

在本说明书一个可选的实施例中，根据所述数据采集指令，确定该目标同步工具的配置信息，作为目标同步工具的配的目标信息，包括：

确定该目标同步工具当前的配置与所述数据采集指令是否匹配；

若否，则在所述配置数据库中，确定与该数据采集指令的匹配度最高的配置信息，作为目标同步工具的配的目标信息。

在本说明书一个可选的实施例中，所述数据采集系统还包括前端服务器；根据所述默认信息，对该同步工具进行配置，包括：

在接收到所述前端服务器发送的同步请求时，根据所述默认信息，对该同步工具进行配置。

在本说明书一个可选的实施例中，所述前端服务器包括交互界面，使得用户根据所述交互界面生成数据采集指令。

在本说明书一个可选的实施例中，所述方法还包括：

确定所述前端服务器生成的配置调整请求对应的同步工具，作为待调整工具；

根据所述配置调整请求对应的调整信息，对所述配置数据库中对应于所述待调整工具的配置信息进行调整。