[发明专利]基于接口的数据采集方法、装置、设备及存储介质

说明书

本发明涉及大数据技术领域，公开了一种基于接口的数据采集方法、装置、设备及存储介质。所述方法包括：若当前满足数据采集作业的触发条件，则读取触发条件对应的数据采集作业，其中，数据采集作业包括数据采集作业参数、源数据库接口参数、目的数据库参数；根据数据采集作业参数，生成数据采集接口，并通过源数据库接口参数，建立与源数据库之间的数据连接；接收从源数据库采集的目标数据并进行结构化处理，得到结构化目标数据；根据预置采集数据存储规则和目的数据库参数，生成结构化目标数据对应的批量数据库操作语句并执行，以将结构化目标数据存储至对应目的数据库。本发明能灵活地配置数据采集接口，从而进行高效的数据采集。

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于接口的数据采集方法、装置、设备及存储介质。

背景技术

随着大数据的发展，数据即是价值，在做数据分析和数据挖掘时，都需要进行不同目的的数据采集，而数据采集的方式一般是通过接口的形式访问数据源数据库，从而获得源数据库的数据。

目前基于接口的数据采集方式过于简单，而日益复杂的业务场景要求数据采集作业需要具备多种功能，如令牌器、断点续传、定时触发、内置字段生成等，如今的数据采集方式不能同时对这些需求进行灵活处理，使得数据采集作业的效率低下，无法满足业务需求。

发明内容

本发明的主要目的在于解决基于接口的数据采集方式功能单一且灵活性低的技术问题。

本发明第一方面提供了一种基于接口的数据采集方法，包括：

检测当前是否满足数据采集作业的触发条件；

若满足数据采集作业的触发条件，则读取所述触发条件对应的数据采集作业，其中，所述数据采集作业包括数据采集作业参数、源数据库接口参数、目的数据库参数；

根据所述数据采集作业参数，生成数据采集接口，并通过所述源数据库接口参数，建立所述数据采集接口与预置源数据库之间的数据连接；

接收所述数据采集接口从所述源数据库采集的目标数据，并对所述目标数据进行结构化处理，得到结构化目标数据；

根据预置采集数据存储规则和所述目的数据库参数，生成所述结构化目标数据对应的批量数据库操作语句并执行，以将所述结构化目标数据存储至对应目的数据库。

可选的，在本发明第一方面的第一种实现方式中，所述检测当前是否满足数据采集作业的触发条件包括：

判断当前数据采集作业是否包含令牌认证任务；

若包含令牌认证任务，则调用预置令牌生成机制，生成所述数据采集作业的令牌器；

所述根据所述数据采集作业参数，生成数据采集接口包括：

根据所述数据采集作业的令牌器，生成带令牌的数据采集接口。

可选的，在本发明第一方面的第二种实现方式中，所述检测当前是否满足数据采集作业的触发条件包括：

判断所述数据采集作业是否采用增量采集方式；

若采用增量采集方式，则读取上一轮数据采集作业对应的数据采集日志文件，并判断所述数据采集日志文件中是否存在采集断点记录；

若存在采集断点记录，则提取所述采集断点记录中的断点所在页码；

所述根据所述数据采集作业参数，生成数据采集接口包括：

根据所述断点所在页码，生成从所述断点所在页码开始的增量采集的数据采集接口。

可选的，在本发明第一方面的第三种实现方式中，所述接收所述数据采集接口从所述源数据库采集的目标数据，并对所述目标数据进行结构化处理，得到结构化目标数据包括：