[发明专利]一种大数据智能抽取的管理方法

说明书

技术领域

本发明涉及计算机应用技术领域，具体的说是一种大数据智能抽取的管理方法。

背景技术

随着大数据重要性的凸显，在我国基础数据都已经完善的基础上，将分散在不同地区和部门的数据进行集中的需求日益增多。在集中过程中有直接应用数据库技术进行数据集中的，也有通过第三方数据集中工具进行集中的。应用数据库直接同步数据有很多局限性和较高硬件要求，无法在在广域网和复杂的网络环境中进行数据抽取。最为广泛的是通过数据集中工具进行数据集中。在应用数据集中工具进行数据集中时，往往需要基于不同的数据集中工具进行平台开发或者要求人员对集中工具非常熟悉。这些都将花费大量人力物力，为了减轻数据集中的工作量，我们开发了基于各种数据集中工具的抽取管理应用。本管理应用实现对同一集中工具的多个应用同时进行数据抽取，也能够实现不同抽取工具多个应用同时进行数据抽取。通过统一的集中管理界面进行数据集中的管理、调度和监控，屏蔽不同集中工具的差异，从而实现大数据的抽取。

发明内容

本发明的技术任务是解决现有技术的不足，提供一种实用性强、大数据智能抽取的管理方法。

本发明的技术方案是按以下方式实现的，该一种大数据智能抽取的管理方法，其具体步骤为：

1）完成抽取应用的管理的步骤，该步骤是指抽取数据源的选择选用至少一个抽取工具的至少一个应用：这时由于充分考虑不同的网络环境下，对不同数据源的抽取，所以在对抽取工具管理的时候，不仅能够实现一个抽取应用的管理，也对多个抽取应用进行管理，还可以对不同抽取工具的多个应用进行管理。 

2）完成信息同步的步骤，该步骤是指：

一、数据抽取规则同步；

二、监控和日志信息同步；

3）完成抽取规则管理的步骤，该步骤是指对抽取规则进行格式定义，实现对抽取规则的树形、多角度分类，并对抽取规则进行分组管理；

4）规则参数管理的步骤，该步骤是指对参数进行分类管理；

5）抽取任务调度的步骤，该步骤是指通过合理设置调度阀值，在调度时，在相同的时间内，使得运行的任务数既不超过源库的传输负荷，也不会超过抽取工具服务器的抽取负荷，完成抽取任务。

所述信息同步的详细步骤为：在该管理应用实现时，建立一整套表结构，实现抽取工具各规则表信息到平台表信息的映射，从而屏蔽各种数据集中工具信息的差异，使得能够统一同步信息、管理规则、监控任务执行情况，以及调度任务使其执行在不同的抽取工具上进行数据抽取。

所述抽取规则管理步骤中的分组管理是指：按照业务系统、业务类别、数据来源信息对规则进行分组抽取和管理，对于逻辑上关联的抽取规则，定义逻辑关系,实现任务串并联管理。

所述规则参数管理的详细步骤为：这里的参数是指不同的抽取规则对应的不同参数，该参数从范围上分别分为全局参数、局部参数、规则参数；从参数的取值方式上，将参数分为固定值、系统值和动态值，在抽取任务出错时，快速完成对参数值的修改。

所述抽取任务的调度的详细步骤为：在管理应用建设时，根据数据库服务器、抽取工具服务器、网络传输速率的硬件配置情况，设置合理的阀值；在任务启动时，根据硬件环境合理的启动并行的任务数；对执行出错的任务，根据不同的错误类型，进行不同的应对处理。

本发明与现有技术相比所产生的有益效果是：

本发明的一种大数据智能抽取的管理方法实现对各种数据抽取工具的管理功能，实现同时对多个抽取应用的管理，从而实现大数据的抽取，对开发人员来说，当新增数据抽取工具时，不必重新开发程序，只需要对相应信息进行配置即可，对运维和管理人员来讲，不必精通每一种数据抽取工具，就能够实现对数据抽取的管理和监控，有效的节约人力，提高工作效率，节省开发维护成本60%，实用性强，易于推广。

附图说明

附图1是本发明的抽取应用管理示意图。

附图2是本发明的信息同步列表示意图。

附图3是本发明的信息同步设置示意图。

附图4是本发明的抽取规则管理分组示意图。

附图5是本发明的任务调度列表示意图。

附图6是本发明的任务调度设置示意图。

具体实施方式

下面结合附图对本发明的一种大数据智能抽取的管理方法作详细说明。