[发明专利]一种基于多线程的网页爬取方法、装置、存储介质及设备

说明书

本发明实施例公开了一种基于多线程的网页爬取方法、装置、存储介质及设备。所述方法包括：从关键词字典中获取多个待爬取关键词；根据待爬取关键词确定与待爬取关键词对应的链接地址；将与待爬取关键词对应的链接地址添加到队列中；然后采用多线程爬虫方式通过多线程爬虫的各线程爬虫从队列中获取与待爬取关键词对应的链接地址作为待爬取链接地址，根据待爬取链接地址，通过各线程爬虫进行网页爬取及内容解析后得到与待爬取链接地址对应的有效信息，根据与待爬取链接地址对应的有效信息更新关键词字典的有效信息。本发明不需手动搜索，避免提供信息的网站在用户访问高峰期频繁访问专业网站，提供信息的网站的网页中关键词可以得到及时更新。

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种基于多线程的网页爬取方法、装置、存储介质及设备。

背景技术

随着因特网的快速发展，人们越来越多的在计算机网络查找需要的信息，查找到的信息中包括不少关键词，比如，关键词包括专业术语，需要阅读关键词的解释才能看懂整个信息。关键词的解释可以手动通过搜索引擎进行搜索，造成用户体验不好，特别是一个信息中存在多个关键词时，在搜索引擎和显示信息的网页之间来回切换，不利于用户查阅，而且比较耗时；关键词的解释也可以由提供信息的网站提供，但是关键词的解释是由专业网站维护的，从信息解析出关键词，再将关键词从专业网站获取解释，提供信息的网站再将获取的关键词的解释显示给用户，造成提供信息的网站频繁访问专业网站，而且不利于关键词的解释的及时更新。因此，提出一种不需手动搜索、避免频繁访问专业网站、有利于及时更新的基于多线程的网页爬取方法显得尤为重要。

发明内容

基于此，有必要针对上述问题，提出了一种基于多线程的网页爬取方法、装置、存储介质及设备。

第一方面，本发明提出了一种基于多线程的网页爬取方法，所述方法包括：

从关键词字典中获取多个待爬取关键词，所述关键词字典包括关键词、有效信息；

根据所述待爬取关键词确定与所述待爬取关键词对应的链接地址；

将与所述待爬取关键词对应的链接地址添加到队列中；

采用多线程爬虫方式，通过所述多线程爬虫的各线程爬虫从所述队列中获取与所述待爬取关键词对应的链接地址作为待爬取链接地址；

根据所述待爬取链接地址，通过所述各线程爬虫进行网页爬取，得到与所述待爬取链接地址对应的网页信息；

根据与所述待爬取链接地址对应的网页信息，通过所述各线程爬虫按预设网页内容解析规则进行内容解析，得到与所述待爬取链接地址对应的有效信息；

根据与所述待爬取链接地址对应的有效信息，通过所述各线程爬虫更新所述关键词字典的有效信息；

判断所述队列是否为空，若否，则从所述队列中获取与所述待爬取关键词对应的链接地址，将获取到的与所述待爬取关键词对应的链接地址作为所述待爬取链接地址，并执行所述通过所述各线程爬虫进行网页爬取的步骤；若是，则确定所述通过所述各线程爬虫更新所述关键词字典的有效信息完成。

在一个实施例中，在所述从关键词字典中获取多个待爬取关键词之前，还包括：

从关键词数据库中获取多个待添加关键词；

根据多个所述待添加关键词更新所述关键词字典的关键词。

在一个实施例中，所述根据所述待爬取关键词确定与所述待爬取关键词对应的链接地址，包括：

获取预设链接地址拼接规则；

根据所述待爬取关键词、所述预设链接地址拼接规则进行链接地址拼接，得到与所述待爬取关键词对应的链接地址。