[发明专利]一种用于带验证分布式智能爬取网络信息的方法

摘要

本发明提出了一种用于带验证分布式智能爬取网络信息的方法，包括：当判断网站的目标页面数据需要登录验证后才能获取时，从数据库获取相应的登录信息，通过浏览器自动登录并提交验证信息；启动定时任务使用cookie访问其网页并留活处理；启动网络抓包检测器，根据数据业务需求访问相应目标页面，进行HTTP报文分析，定制爬虫脚本，确定任务爬取数据量；由主节点发出广播，通知相应的任务节点，分发爬虫脚本，任务节点启动并向主节点任务队列申请任务，根据申请到的任务进行数据爬取，将爬取的目标数据存入队列，进而批量存入数据库。本发明实现可自动登录访问受保护页面，自动生成挖掘脚本的，快速的可扩展的分布式网页爬虫综合框架。

主权项

一种用于带验证分布式智能爬取网络信息的方法，其特征在于，包括如下步骤：步骤S1，当判断网站的目标页面数据需要登录验证后才能获取时，从数据库获取相应的登录信息，通过浏览器自动登录并提交验证信息；步骤S2，校验登录成后，将从服务器获取的cookie进行序列化，将序列化后的cookie、登录信息和网站域名存入数据库，启动定时任务使用cookie访问其网页，并对cookie做留活处理；步骤S3，启动网络抓包检测器，根据数据业务需求访问相应目标页面，由所述网络抓包检测器抓取HTTP数据请求和响应的HTTP报文，进行HTTP报文分析，定制爬虫脚本，确定任务爬取数据量；步骤S4，在生成爬虫脚本并确定爬取任务后，当判断有新任务后，由主节点发出广播，通知相应的任务节点，分发爬虫脚本，所述任务节点在接收到通知后，启动并向主节点任务队列申请任务，根据申请到的任务进行数据爬取，将爬取的目标数据存入队列，进而批量存入数据库。