[发明专利]基于直线生成算法的爬虫方法及爬虫系统

说明书

技术领域

本发明涉及一种基于直线生成算法的爬虫方法及爬虫系统。

背景技术

在万维网飞速发展的网络背景下，搜索引擎在人们的生活工作中无疑扮演着重要的角色，而网络爬虫则是搜索引擎技术的最基础部分。

在搜索引擎成为主流检索工具的今天，互联网上的网络爬虫各式各样，但爬虫爬取网页的基本步骤大致相同：

1)人工给定一个URL(统一资源定位符)作为入口，从这里开始爬取。

万维网的可视图呈蝴蝶型，网络爬虫一般从蝴蝶型左边结构出发。这里有一些门户网站的主页，而门户网站中包含大量有价值的链接。

2)用运行队列和完成队列来保存不同状态的链接。

对于大型数据量而言，内存中的队列是不够的，通常采用数据库模拟队列。用这种方法既可以进行海量的数据抓取，还可以拥有断点续抓功能。

3)线程从运行队列读取队首URL，如果存在，则继续执行，反之则停止爬取。

4)每处理完一个URL，将其放入完成队列，防止重复访问。

5)每次抓取网页之后分析其中的URL(URL是字符串形式，功能类似指针)，将经过过滤的合法链接写入运行队列，等待提取。

6)重复步骤3)、4)、5)。

传统的爬虫逻辑的算法流程图如图1所示，通过传统的爬虫逻辑与算法，效率十分低下，运行过程中也存在着占内存的问题。

发明内容

本发明要解决的技术问题是为了克服现有技术中传统的爬虫逻辑与算法效率低下、运行过程中占内存的缺陷，提供一种基于直线生成算法的爬虫方法及爬虫系统。

本发明是通过下述技术方案来解决上述技术问题的：

本发明提供了一种基于直线生成算法的爬虫方法，其特点在于，包括以下步骤：

S₁、初始化URL索引；

S₂、采用直线生成算法进行程序动作打包；

S₃、使用参数构造URL列表；

S₄、分析网页页面并进行网页数据抓取。

较佳地，步骤S₂包括：

S₂₁、将网页数据虚拟为二维坐标系中的数据点；

S₂₂、选定一URL生成点及一数据结束点；

S₂₃、采用直线生成算法在所述URL生成点及所述数据结束点之间虚拟一条直线；

步骤S₄中基于步骤S₂₃中虚拟出的直线进行网页数据抓取。

较佳地，所述直线生成算法为两步算法。

本发明的目的在于还提供了一种基于直线生成算法的爬虫系统，其特点在于，包括：

一初始化模块，用于初始化URL索引；

一打包模块，用于采用直线生成算法进行程序动作打包；

一列表构造模块，用于使用参数构造URL列表；

一抓取模块，用于分析网页页面并进行网页数据抓取。

较佳地，所述打包模块包括一数据点虚拟单元、一数据点选定单元以及一直线虚拟单元；所述数据点虚拟单元用于将网页数据虚拟为二维坐标系中的数据点，所述数据点选定单元用于选定一URL生成点及一数据结束点，所述直线虚拟单元用于采用直线生成算法在所述URL生成点及所述数据结束点之间虚拟一条直线；

所述抓取单元用于基于所述直线虚拟单元虚拟出的直线进行网页数据抓取。

较佳地，所述直线生成算法为两步算法。

本发明的积极进步效果在于：本发明通过将直线方程式算法运用至网络爬虫结构，可以提高爬虫的数据读取速度，减少数据传输过程中的时间，提高搜索速度。

附图说明

图1为传统的爬虫逻辑的算法流程图。

图2为本发明一实施例的基于直线生成算法的爬虫方法的流程图。

图3为本发明一实施例的基于直线生成算法的爬虫方法中程序动作打包步骤的流程图。

图4为本发明一实施例的基于直线生成算法的爬虫方法中直线在点阵设备上的示意图。

图5为本发明一实施例的基于直线生成算法的爬虫方法中两步算法的示意图。

图6为本发明一实施例的基于直线生成算法的爬虫系统的模块示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

如图2所示，本发明的基于直线生成算法的爬虫方法包括以下步骤：