[发明专利]一种自动化垂直细分领域的爬虫爬取方法及其管理系统

摘要

本发明涉及爬虫爬取和管理调度技术，旨在提供一种自动化垂直细分领域的爬虫爬取方法及其管理系统。该种自动化垂直细分领域的爬虫爬取方法包括过程：爬虫运行时间预测；根据预测时间、并行数进行批量爬虫调度优化；爬虫爬取。本发明在垂直细分领域爬虫的爬取效率上比现有技术更加高效，结合垂直细分爬虫的特征开创地引入了爬虫的时间预测模型，结合最长处理时间优先算法进行并行爬虫的高效调度，节省爬取时间。

主权项

1.一种自动化垂直细分领域的爬虫爬取方法，其特征在于，包括下述过程：/n一、爬虫运行时间预测；/n在并行通道和爬虫任务确定的情况下，即爬虫的并行数和目标网站确定的情况下，对每个新的爬虫任务，利用线性回归模型预测出爬虫运行时间；/n二、根据预测时间、并行数进行批量爬虫调度优化；/n设爬虫的并行数为m，有n个独立的爬虫任务，爬虫任务i对应的预测运行时间，采用最长处理时间优先算法，使得n个爬虫任务在尽可能短的时间内由m个并行通道完成；/n最长处理时间优先算法是将n个爬虫任务根据预测出爬虫运行时间长短排序，然后将最长时间的爬虫任务依次分配给结束时间最早的并行通道，这样的贪心策略能够得到(4/3-1/(3m))OPT的上界，其中m为爬虫的并行数，OPT为最优时间；/n三、爬虫爬取；/n爬虫爬取包括爬取核心部分和数据处理部分，以实现在自动化垂直细分领域爬虫对目标网站的爬取；/n爬取核心部分用于向目标网站发送请求，并对返回结果进行解析和内容提取，得到结构化的内容；/n数据处理部分用于对爬取核心部分解析后的结构化内容，进行过滤、筛选和数据库持久化。/n