[发明专利]网页数据爬取方法及装置

权利要求书

1.一种网页数据爬取方法，其特征在于，包括：

确定待爬取网页的目标域名信息；

从域名身份数据中，获取对应所述目标域名信息的身份凭证，所述域名身份数据中包含域名信息及每一个域名信息对应的身份凭证；

根据所述身份凭证对目标域名信息对应的网页进行数据爬取。

2.根据权利要求1所述的方法，其特征在于，在所述从域名身份数据中，获取对应所述目标域名信息的身份凭证之前，所述方法还包括：

注册网络监控接口程序；

当检测到目标浏览器中执行访问操作时，通过所述网络监控接口程序获取第一访问数据，所述第一访问数据中包括所述身份凭证及域名信息，所述身份凭证包括身份标识及身份参数；

根据所述身份凭证及域名信息生成域名身份数据，并将所述域名身份数据进行存储。

3.根据权利要求2所述的方法，其特征在于，在所述根据所述身份凭证及域名信息生成域名身份数据，并将所述域名身份数据进行存储之前，所述方法还包括：

确定所述域名身份数据中是否存在所述域名信息及所述身份标识；

所述根据所述身份凭证及域名信息生成域名身份数据，并将所述域名身份数据进行存储，包括：

若确定所述域名身份数据中不存在所述域名信息及所述身份标识，则根据所述身份凭证中的身份标识、身份参数及域名信息构建所述域名身份数据，并将所述域名身份数据进行存储；

若确定所述域名身份数据中存在所述域名信息及所述身份标识，则根据所述身份参数更新所述域名身份数据，并将所述域名身份数据进行存储。

4.根据权利要求2所述的方法，其特征在于，所述当检测到目标浏览器中执行访问操作时，通过所述网络监控接口程序获取第一访问数据包括：

当检测到目标浏览器中发出请求信息时，通过所述网络监控接口程序获取所述请求信息，并从所述请求信息中获取对应所述请求信息的第一访问数据；和/或，

当检测到目标浏览器中接收响应信息时，通过所述网络监控接口程序获取所述响应信息，并从所述响应信息中获取对应所述响应信息的第一访问数据；和/或，

当检测到目标浏览器完成访问操作后，通过所述网络监控接口程序从浏览器预设位置中获取对应所述访问操作的第一访问数据。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

在爬取所述目标域名信息对应的网页时，获取第二访问数据，所述第二访问数据是爬取所述目标域名信息对应的网页时的访问数据，所述第二访问数据中包括所述目标域名信息及身份凭证；

根据所述第二访问数据，确定所述域名身份数据中是否存在所述目标域名信息及所述身份凭证中的身份标识；

若是，则根据所述第二访问数据更新所述域名身份数据；

若否，则根据所述第二访问数据中的身份凭证及目标域名信息添加至所述域名身份数据中。

6.根据权利要求5所述的方法，其特征在于，所述在爬取所述目标域名信息对应的网页时，获取第二访问数据包括：

当向目标域名信息对应的网页发出请求信息时，获取发出的请求信息，并从所述发出的请求信息中获取第二访问数据；和/或，

当从所述目标域名信息对应的网页接收响应信息时，获取接收的响应信息，并从所述接收的响应信息中获取第二访问数据；和/或，

当完成所述目标域名信息对应的网页的数据爬取时，从预置位置中获取对应所述数据爬取的第二访问数据。

7.一种网页数据爬取装置，其特征在于，包括：

第一确定单元，用于确定待爬取网页的目标域名信息；

第一获取单元，用于从域名身份数据中，获取对应所述目标域名信息的身份凭证，所述域名身份数据中包含域名信息及每一个域名信息对应的身份凭证；

爬取单元，用于根据所述身份凭证对目标域名信息对应的网页进行数据爬取。