[发明专利]一种网络数据爬取方法和装置

权利要求书

1.一种网络数据爬取方法，其特征在于，包括：

通过网页测试工具打开浏览器，并打开待爬取数据的网站；

根据预先设置的目标数据网页结构，通过所述网页测试工具模拟用户浏览所述网站，获取所述网站上目标数据标签对应的所有网页的页面信息；其中，所述目标数据网页结构为各类数据标签之间的层级关系；

分别对获取到的所述页面信息进行分析，根据所述目标数据标签获取对应的目标数据；

其中，所述通过所述网页测试工具模拟用户浏览所述网站，包括：

通过所述网页测试工具模拟点击页面跳转按钮、模拟页面下拉条的滚动和模拟栏目的点击操作，实现模拟用户浏览所述网站；

所述获取所述网站上目标数据标签对应的所有网页的页面信息，包括：

根据所述目标数据网页结构，打开对应的网页，获取所述目标数据标签对应的所有网页的页面信息，若判断获知所述网页不是所述目标数据标签对应的最后一页网页，则模拟所述点击页面跳转按钮，点击下一页，获取下一页网页的页面信息。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：预先设置在每一页网页的停留时间。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：若判断获知所述网页出现异常，则模拟刷新页面操作。

4.一种网络数据爬取装置，其特征在于，包括：

浏览器打开单元，用于通过网页测试工具打开浏览器，并打开待爬取数据的网站；

页面信息获取单元，用于根据预先设置的目标数据网页结构，通过所述网页测试工具模拟用户浏览所述网站，获取所述网站上目标数据标签对应的所有网页的页面信息；其中，所述目标数据网页结构为各类数据标签之间的层级关系；

目标数据获取单元，用于分别对获取到的所述页面信息进行分析，根据所述目标数据标签获取对应的目标数据；

其中，所述页面信息获取单元具体用于：通过所述网页测试工具模拟点击页面跳转按钮、模拟页面下拉条的滚动和模拟栏目的点击操作，实现模拟用户浏览所述网站；

所述页面信息获取单元具体用于：根据所述目标数据网页结构，打开对应的网页，获取所述目标数据标签对应的所有网页的页面信息，若判断获知所述网页不是所述目标数据标签对应的最后一页网页，则模拟所述点击页面跳转按钮，点击下一页，获取下一页网页的页面信息。

5.根据权利要求4所述的装置，其特征在于，所述页面信息获取单元具体用于：预先设置在每一页网页的停留时间。

6.根据权利要求4或5所述的装置，其特征在于，所述页面信息获取单元具体用于：若判断获知所述网页出现异常，则模拟刷新页面操作。