[发明专利]基于集散模型的数据采集方法及装置

说明书

本申请实施例提供一种基于集散模型的数据采集方法及装置，方法包括：在源数据库端采用分立式接入器进行目标数据隔离采集，并通过数据总线将目标数据传输至目标数据库端；在所述目标数据库端对所述目标数据进行增量、更新、删除处理，得到中间表；对所述中间表进行类型格式转换，并根据经过所述类型格式转换后的中间表整合得到目标表；本申请能够有效提高数据采集的灵活性、通用性和采集效率。

技术领域

本申请涉及数据处理领域，具体涉及一种基于集散模型的数据采集方法及装置。

背景技术

数据采集是构建数据分析系统以及数据仓库的必要步骤，经过长期发展，业界将数据采集过程整合为ETL(抽取-extract、转换-transform、加载-load)过程。ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。

伴随着ETL技术的发展，行业内产生了诸多优秀工具。如Data Pipeline、Kettle、Talend以及阿里巴巴的DataX等等。它们各具特点，可在不同场景下满足数据采集以及处理的各类需求。

缺陷和不足：

(1)抽取端存在竞争和流程重复的问题

一方面，在采集数据库数据时，大部分ETL工具为了保证通用性，在接入端一般采用源数据库暴露的标准驱动及API进行批量查询获取数据，例如oracle的JDBC、Windows下的ODBC、hive对应的hive-JDCB等，与源数据库各自业务操作存在资源竞争，另外在数据库版本不同的时，ETL工具可能存在驱动冲突问题；另一方面，获取到的数据类型一般可分为批量和流式两大类，由于二者格式和传输差异性，导致采集任务流程不通用，造成流程重复配置和资源浪费的问题。

(2)转换端配置繁杂、执行成本高

由于各源数据库格式各异，所以转换端一般需要人工配置各种转换逻辑，在抽取数据的同时完成格式转换。这个过程存在两个问题：一是操作人员需要掌握各类不同数据库的数据操作函数(如oracle、mysql中的sql函数)使用方法，对每个需要转换的字段进行配置；二是转换一般在源数据库或ETL工具服务器上进行，前者会在源数据库端产生额外的执行压力，后者则需要ETL所在服务器提供较大的运算处理能力，均提高了转换的执行成本。

(3)加载端难以处理更新和删除数据

数据同步是很多业务系统的刚性需求，目前ETL工具能较好地处理增量数据加载问题，但是对于更新数据和删除数据，由于目标系统数据库的特性差异，各工具处理方式和效果各异，有些甚至还不支持处理，这将极大限制目标系统的使用范围和效果。

发明内容

针对现有技术中的问题，本申请提供一种基于集散模型的数据采集方法及装置，能够有效提高数据采集的灵活性、通用性和采集效率。

为了解决上述问题中的至少一个，本申请提供以下技术方案：

第一方面，本申请提供一种基于集散模型的数据采集方法，包括：

在源数据库端采用分立式接入器进行目标数据隔离采集，并通过数据总线将目标数据传输至目标数据库端；

在所述目标数据库端对所述目标数据进行增量、更新、删除处理，得到中间表；

对所述中间表进行类型格式转换，并根据经过所述类型格式转换后的中间表整合得到目标表。

进一步地，所述在源数据库端采用分立式接入器进行目标数据隔离采集，包括：

通过拉取式采集器根据时间戳或递增序列标识确定数据访问位置，以主动访问方式获取增量数据和更新数据；