[发明专利]网页数据爬取方法及装置

说明书

本发明公开了一种网页数据爬取方法及装置，涉及网络技术领域，主要目的在于实现对设置有身份验证的网站进行网页数据爬取的功能而发明。本发明的方法包括：确定待爬取网页的目标域名信息；从域名身份数据中，获取对应所述目标域名信息的身份凭证，所述域名身份数据中包含域名信息及每一个域名信息对应的身份凭证；根据所述身份凭证对目标域名信息对应的网页进行数据爬取。本发明适用于对通过爬虫对网站中的数据进行爬取。

技术领域

本发明涉及网络技术领域，尤其涉及一种网页数据爬取方法及装置。

背景技术

随着网名的逐步增多，网络中不同网站的访问量也逐步增多。通常，为了更为全面的获取到网站中数据，很多用户都喜欢通过网络爬虫来对网站中的数据进行爬取。其中，爬虫，通常被称为网络爬虫、网页蜘蛛或网络机器人。它是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

目前，在对网站中的数据进行爬取时，一般情况下爬虫是基于模仿用户的访问行为对网站中的页面按照一定次序进行数据的爬取。然而，在实际应用中，网络中的很多网站都设置有身份验证功能，当网站接收到访问请求时，会对访问者的身份进行验证，从而过滤掉无法通过验证的访问请求，由于爬虫仅仅是模拟用户的访问行为，并未具备身份凭证，因此，现有的爬虫在对此类具备身份验证的网站进行数据爬取时，由于未具备有身份凭证而无法通过身份验证，从而导致对该网站中数据的爬取失败。因此，如何实现对设置有身份验证的网站进行数据的爬取，成为了领域内亟待解决的问题。

发明内容

鉴于上述问题，本发明提供一种网页数据爬取方法及装置，主要目的在于实现对设置有身份验证的网站进行网页数据爬取的功能。

为解决上述技术问题，第一方面，本发明提供了一种网页数据爬取方法，该方法包括：

确定待爬取网页的目标域名信息；

从域名身份数据中，获取对应所述目标域名信息的身份凭证，所述域名身份数据中包含域名信息及每一个域名信息对应的身份凭证；

根据所述身份凭证对目标域名信息对应的网页进行数据爬取。

可选的，在所述从域名身份数据中，获取对应所述目标域名信息的身份凭证之前，所述方法还包括：

注册网络监控接口程序；

当检测到目标浏览器中执行访问操作时，通过所述网络监控接口程序获取第一访问数据，所述第一访问数据中包括所述身份凭证及域名信息，所述身份凭证包括身份标识及身份参数；

根据所述身份凭证及域名信息生成域名身份数据，并将所述域名身份数据进行存储。

可选的，在所述根据所述身份凭证及域名信息生成域名身份数据，并将所述域名身份数据进行存储之前，所述方法还包括：

确定所述域名身份数据中是否存在所述域名信息及所述身份标识；

所述根据所述身份凭证及域名信息生成域名身份数据，并将所述域名身份数据进行存储，包括：

若确定所述域名身份数据中不存在所述域名信息及所述身份标识，则根据所述身份凭证中的身份标识、身份参数及域名信息构建所述域名身份数据，并将所述域名身份数据进行存储；

若确定所述域名身份数据中存在所述域名信息及所述身份标识，则根据所述身份参数更新所述域名身份数据，并将所述域名身份数据进行存储。

可选的，所述当检测到目标浏览器中执行访问操作时，通过所述网络监控接口程序获取第一访问数据包括：

当检测到目标浏览器中发出请求信息时，通过所述网络监控接口程序获取所述请求信息，并从所述请求信息中获取对应所述请求信息的第一访问数据；和/或，