[发明专利]数据抽取方法和数据抽取系统

说明书

本发明实施例提供一种数据抽取方法，包括：获取插件ID列表；根据所述插件ID列表获取每个插件；为每个插件构建一个数据抽取子服务，所述数据抽取子服务用于从数据源获取预设数据，并调用所述插件处理所述预设数据；以及定时启动所述数据抽取子服务。本发明实施例提供的数据抽取方法根据插件生成数据抽取子服务，集中管理和调度这些数据抽取子服务，解决了多个数据抽取程序抽取代码和业务代码高度耦合、不容易变更、非柔性化、难以管理的问题。本发明实施例同时提供一种数据抽取系统。

技术领域

本发明涉及计算机领域，具体涉及一种数据抽取方法和数据抽取系统。

背景技术

目前公司的大数据系统存储高达几亿用户的各种消费信息，很多业务部门都需要从中抽取各自有用的数据，在以往由大数据部门为每个业务部门写一个专门的数据抽取程序，然后部署在集群上，如图1所示，在数据抽取集群上，分别部署着针对A业务、B业务和C业务的数据抽取程序，这些数据抽取程序分别从Hadoop集群上抽取数据加工后输出到指定的数据库。随时公司业务的增加，业务部门的扩展，导致集群中有几百个的数据抽取程序在同时运行，对应的代码也高达几百份，非常不利于管理。

发明内容

有鉴于此，本发明提供一种数据抽取方法和数据抽取系统，将多个数据抽取程序集中管理和调度，以解决现有技术中的多份数据抽取程序不易管理的问题。

根据本发明实施例的第一方面，提供一种数据抽取方法，包括：

获取插件ID列表；

根据所述插件ID列表获取每个插件；

为每个插件构建一个数据抽取子服务，所述数据抽取子服务用于从数据源获取预设数据，并调用所述插件处理所述预设数据；以及

定时启动所述数据抽取子服务。

优选地，还包括：集中管理每个插件，并通过插件ID区分每个插件。

优选地，所述集中管理每个插件包括以下的至少一项：插件注册、插件删除、插件配置和插件手工运行。

优选地，在每个插件注册时，按照预设的接口定义对所述插件进行校验。

优选地，还包括：将注册成功的插件ID存储到数据库表；

则所述获取插件ID列表包括：从所述数据库表获取已注册的插件ID列表。

优选地，还包括：采集每个数据抽取子服务中的插件运行信息，并通过图形界面显示。

优选地，每个插件至少包含可执行代码和源代码的一项。

优选地，所述插件处理所述预设数据包括：对所述预设数据加工后输出到指定数据源。

根据本发明实施例的第二方面，提供一种数据抽取系统，包括：

插件管理子系统，用于集中管理每个插件，并通过插件ID区分每个插件；

数据抽取子系统，用于从所述插件管理子系统获取插件ID列表，并根据所述插件ID列表获取每个插件，为每个插件构建一个数据抽取子服务，并定时启动所述数据抽取子服务，其中，所述数据抽取子服务用于从数据源获取预设数据，并调用所述插件处理所述预设数据。

优选地，所述插件管理子系统包括插件注册模块、插件删除模块、插件配置模块和插件手工运行模块。

优选地，所述插件注册模块包括插件校验单元，所述插件校验单元按照预设的接口定义对所述插件进行校验。

优选地，所述插件注册单元将注册成功的插件ID存储到数据库表；

则所述数据抽取子系统包括：从所述数据库表获取已注册的插件ID列表。