[发明专利]一种实现网络爬虫任务的方法

摘要

本发明公开了一种实现网络爬虫任务的方法，1.初始给所述客户端待爬网页的链接地址；2.客户端将待爬网页的链接地址封装成任务请求发送到服务器；3.服务器向待爬取页面发送HTTP请求，并把请求到的多信息返回客户端；4.客户端接收信息，并对信息进行处理：5.重复上述过程，依次完成待爬列表中的网页爬取。本发明为爬取不同的网站内容提供了一个通用的网络爬虫框架，通过使用本方法可以快速完成编写用于爬取某个特定网站的爬虫。这种方法极大降低了开发人员的开发难度，缩短了开发周期。由于这种方法是建立在分布式网络爬虫框架的基础之上，因此爬取网站的速度也可以得到保证。本发明方法可用于医疗信息系统。

主权项

一种实现网络爬虫任务的方法，其特征在于，硬件部分包括互联网中的服务器和客户端，所述客户端包括解析器和执行器；所述解析器，利用正则表达式从待爬取的网站中解析出下一层待爬网页链接地址；所述执行器，用于将爬取的信息存入存储设备，以及为待爬网页链接地址设置爬取顺序的优先级；具体实现过程包括如下步骤：S1、初始给所述客户端一个或多个待爬网页的链接地址或客户端从数据库中取出一个最优待爬网页的链接地址；S2、所述客户端将待爬网页的链接地址封装成任务请求发送到所述服务器；S3、所述服务器向待爬取页面发送HTTP请求，并把请求到的多信息返回给相应的所述客户端。S4、所述客户端接收所述多信息，并对所述多信息做以下操作：S41、所述执行器将所述多信息中所需要的信息存储到硬盘；S42、所述解析器利用正则表达式从所述多信息解析出下一层待爬网页链接地址；S43、所述执行器为S42中所述下一层待爬网页链接地址设置爬取顺序优先级;S44、将所述下一层待爬网页链接地址加入到所述数据库中的待爬列表中；S5、重复上述过程，依次完成所述数据库中的待爬列表中的网页爬取。