[发明专利]一种网络资源数据采集系统及其实现方法

摘要

本发明涉及计算机应用技术领域，特别是涉及一种网络资源数据采集的系统及其实现方法。本发明的系统由资源配置管理模块、任务配置管理模块和数据管理模块及监控管理模块四部分组成。所述的方法包括如下步骤：在系统数据库中添加资源信息；配置网络采集规则；对采集规则进行测试；发布资源配置信息；添加任务信息，选择资源名称，设定任务运行周期及任务开始运行时间；启动任务运行即可。本发明可实现企业单位工作人员快速创建一个网络数据采集资源，灵活配置任务采集时间及运行周期，对采集的数据进行监控和查询，适用于企业单位各种网络资源数据采集的实现。

主权项

1.一种网络资源数据采集系统，其特征在于，所述的系统包含资源配置管理模块、任务配置管理模块和数据管理模块及监控管理模块；/n所述的资源配置管理模块包含资源基础信息维护模块、资源配置信息维护模块、资源规则测试模块和资源信息发布/撤销模块；所述的资源基础信息维护模块用于保存和修改资源基础信息表，按输入的资源数据表名称自动生成资源采集信息表；所述的资源配置信息维护模块用于对资源信息采集规则进行配置，修改资源基础信息表；所述的资源规则测试模块用于对配置的采集规则进行测试；所述的资源信息发布/撤销模块用于发布和撤销资源信息，发布资源信息后自动生成资源监控信息表；/n所述的任务配置管理模块包含任务基础信息维护模块和任务的启动、停止和重启模块；所述的任务基础信息维护模块用于保存和修改任务基础信息表；所述的任务的启动、停止和重启模块分别用于启动任务、停止任务和重新启动任务，启动任务后自动生成任务监控信息表；/n所述的数据管理模块包含数据浏览和统一搜索；所述的数据浏览用于采集数据的统一展示，显示某个资源的采集信息，包含资源名称、采集数据量和数据浏览功能；所述的统一搜索用于对采集内容的关键字进行检索，按关键字搜索采集内容结果集信息；/n所述的监控管理模块包含资源监控管理和任务监控管理；所述的资源监控管理用于对资源信息进行监控，包含资源名称、监控时间、监控URL、监控值、监控结果信息；所述的任务监控管理用于对任务运行进行监控，包含任务名称、开始时间、结束时间、采集网页数信息；/n所述的资源基础信息表包含：资源编号，资源名称，数据表名称，关键字，总标记，类别，原网页名称，原网页URL，标题标记，链接标记，日期标记，内容标题标记，时间标记，内容标记，作者标记，自定义标记，来源标记，备注，数据记录，状态信息；/n所述的任务基础信息表包含：任务编号，任务名称，资源编号，开始时间，结束时间，是否循环，任务周期，下次启动时间，状态信息；/n所述的资源采集信息表，包含：资源采集编号，任务编号，类型，标题，时间，作者，来源，内容标题，采集URL，上层URL，内容，关键词，采集时间，状态，备注，资源编号；/n所述的资源监控信息表，包含：资源监控编号，资源编号，监控URL，监控值，监控时间，状态，备注；/n所述的任务监控信息表，包含：任务监控编号，任务编号，开始时间，结束时间，状态，采集网页数量。/n