[发明专利]一种基于多线程的网页爬取方法、装置、存储介质及设备

权利要求书

1.一种基于多线程的网页爬取方法，所述方法包括：

从关键词字典中获取多个待爬取关键词，所述关键词字典包括关键词、有效信息；

根据所述待爬取关键词确定与所述待爬取关键词对应的链接地址；

将与所述待爬取关键词对应的链接地址添加到队列中；

采用多线程爬虫方式，通过所述多线程爬虫的各线程爬虫从所述队列中获取与所述待爬取关键词对应的链接地址作为待爬取链接地址；

根据所述待爬取链接地址，通过所述各线程爬虫进行网页爬取，得到与所述待爬取链接地址对应的网页信息；

根据与所述待爬取链接地址对应的网页信息，通过所述各线程爬虫按预设网页内容解析规则进行内容解析，得到与所述待爬取链接地址对应的有效信息；

根据与所述待爬取链接地址对应的有效信息，通过所述各线程爬虫更新所述关键词字典的有效信息；

判断所述队列是否为空，若否，则从所述队列中获取与所述待爬取关键词对应的链接地址，将获取到的与所述待爬取关键词对应的链接地址作为所述待爬取链接地址，并执行所述通过所述各线程爬虫进行网页爬取的步骤；若是，则确定所述通过所述各线程爬虫更新所述关键词字典的有效信息完成。

2.如权利要求1所述的方法，其特征在于，在所述从关键词字典中获取多个待爬取关键词之前，还包括：

从关键词数据库中获取多个待添加关键词；

根据多个所述待添加关键词更新所述关键词字典的关键词。

3.如权利要求1所述的方法，其特征在于，所述根据所述待爬取关键词确定与所述待爬取关键词对应的链接地址，包括：

获取预设链接地址拼接规则；

根据所述待爬取关键词、所述预设链接地址拼接规则进行链接地址拼接，得到与所述待爬取关键词对应的链接地址。

4.如权利要求1所述的方法，其特征在于，所述根据所述待爬取链接地址，通过所述各线程爬虫进行网页爬取，得到与所述待爬取链接地址对应的网页信息，包括：

根据所述待爬取链接地址，通过所述各线程爬虫根据所述待爬取链接地址进行网页爬取，得到爬取结果；

当所述爬取结果为成功时，通过所述各线程爬虫将爬取到的网页信息作为与所述待爬取链接地址对应的网页信息；

当所述爬取结果为失败时，通过所述各线程爬虫将所述待爬取链接地址更新到爬取失败列表。

5.如权利要求1所述的方法，其特征在于，所述根据与所述待爬取链接地址对应的网页信息，通过所述各线程爬虫按预设网页内容解析规则进行内容解析，得到与所述待爬取链接地址对应的有效信息，包括：

根据与所述待爬取链接地址对应的网页信息，通过所述各线程爬虫获取更新锁，所述更新锁数量只有一个且在同一时刻只能被一个所述各线程爬虫占用；

通过所述各线程爬虫根据所述更新锁、与所述待爬取链接地址对应的有效信息更新所述关键词字典的有效信息，更新完成后释放所述更新锁。

6.如权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

获取同一网站最高访问频率；

根据所述同一网站最高访问频率，控制所述各线程爬虫工作，以使得所述各线程爬虫访问同一网站的总频率不高于所述同一网站最高访问频率。

7.如权利要求1至5任一项所述的方法，其特征在于，控制所述多线程爬虫通过多个代理IP地址进行网页爬取；

所述根据所述待爬取链接地址，通过所述各线程爬虫进行网页爬取，得到与所述待爬取链接地址对应的网页信息，还包括：

通过所述各线程爬虫获取代理IP地址管理规则；

根据所述代理IP地址管理规则、所述待爬取链接地址，通过所述各线程爬虫进行网页爬取，得到与所述待爬取链接地址对应的网页信息。