[发明专利]一种大数据智能抽取的管理方法

摘要

本发明提供一种大数据智能抽取的管理方法，其具体步骤为：完成抽取应用的管理的步骤，完成信息同步的步骤，完成抽取规则管理的步骤，规则参数管理的步骤，抽取任务调度的步骤。该一种大数据智能抽取的管理方法和现有技术相比，在改变数据抽取工具时，不必重新开发功能，只需要对相关信息进行配置即可使用。对于运维人员也不需要精通抽取工具就可以实现对数据集中的管理。

主权项

一种大数据智能抽取的管理方法，其特征在于，其具体步骤为：1）完成抽取应用的管理的步骤，该步骤是指抽取数据源的选择选用至少一个抽取工具的至少一个应用；2）完成信息同步的步骤，该步骤是指：一、数据抽取规则同步；二、监控和日志信息同步；3）完成抽取规则管理的步骤，该步骤是指对抽取规则进行格式定义，实现对抽取规则的树形、多角度分类，并对抽取规则进行分组管理；4）规则参数管理的步骤，该步骤是指对参数进行分类管理；5）抽取任务调度的步骤，该步骤是指通过合理设置调度阀值，在调度时，在相同的时间内，使得运行的任务数既不超过源库的传输负荷，也不会超过抽取工具服务器的抽取负荷，完成抽取任务。