[发明专利]一种大数据智能抽取的管理方法

权利要求书

1.一种大数据智能抽取的管理方法，其特征在于，其具体步骤为：

1）完成抽取应用的管理的步骤，该步骤是指抽取数据源的选择选用至少一个抽取工具的至少一个应用；

2）完成信息同步的步骤，该步骤是指：

一、数据抽取规则同步；

二、监控和日志信息同步；

3）完成抽取规则管理的步骤，该步骤是指对抽取规则进行格式定义，实现对抽取规则的树形、多角度分类，并对抽取规则进行分组管理；

4）规则参数管理的步骤，该步骤是指对参数进行分类管理；

5）抽取任务调度的步骤，该步骤是指通过合理设置调度阀值，在调度时，在相同的时间内，使得运行的任务数既不超过源库的传输负荷，也不会超过抽取工具服务器的抽取负荷，完成抽取任务。

2.根据权利要求1所述的一种大数据智能抽取的管理方法，其特征在于，所述信息同步的详细步骤为：在该管理应用实现时，建立一整套表结构，实现抽取工具各规则表信息到平台表信息的映射，从而屏蔽各种数据集中工具信息的差异，使得能够统一同步信息、管理规则、监控任务执行情况，以及调度任务使其执行在不同的抽取工具上进行数据抽取。

3.根据权利要求1所述的一种大数据智能抽取的管理方法，其特征在于，所述抽取规则管理步骤中的分组管理是指：按照业务系统、业务类别、数据来源信息对规则进行分组抽取和管理，对于逻辑上关联的抽取规则，定义逻辑关系,实现任务串并联管理。

4.根据权利要求1所述的一种大数据智能抽取的管理方法，其特征在于，所述规则参数管理的详细步骤为：这里的参数是指不同的抽取规则对应的不同参数，该参数从范围上分别分为全局参数、局部参数、规则参数；从参数的取值方式上，将参数分为固定值、系统值和动态值，在抽取任务出错时，快速完成对参数值的修改。

5.根据权利要求1所述的一种大数据智能抽取的管理方法，其特征在于，所述抽取任务的调度的详细步骤为：在管理应用建设时，根据数据库服务器、抽取工具服务器、网络传输速率的硬件配置情况，设置合理的阀值；在任务启动时，根据硬件环境合理的启动并行的任务数；对执行出错的任务，根据不同的错误类型，进行不同的应对处理。