[发明专利]基于BP神经网络数据挖掘的自动化数字采集与整合方法

摘要

本发明公开了基于BP神经网络数据挖掘的自动化数字采集与整合方法，包括获取采集任务要求信息，采用基于内容推荐算法从预设URL库中匹配满足预设要求的数据源；根据数据源的属性选择信息采集方式进行网页内容信息提取；对提取到的网页内容信息进行链接抓取和采集任务子类划分，生成子类采集请求任务；将子类采集请求任务中的采集请求任务进行队列分配并进行流水线管理，遵循广度优先遍历循环完成网页抓取任务直到满足预设爬虫结束任务条件，得到抓取到的网络数据；对抓取到的网络数据进行抽取分析得到更新后的网络数据，根据采集任务要求信息和更新后的网络数据基于预设的BP神经网络进行网络数据挖掘，对挖掘后的数据进行整合并存储。有效提高数据采集效率。