[发明专利]数据爬取方法及系统在审
| 申请号： | 201910395359.6 | 申请日： | 2019-05-13 |
| 公开（公告）号： | CN110134853A | 公开（公告）日： | 2019-08-16 |
| 发明（设计）人： | 郭奇杰 | 申请（专利权）人： | 重庆八戒传媒有限公司 |
| 主分类号： | G06F16/953 | 分类号： | G06F16/953 |
| 代理公司： | 北京酷爱智慧知识产权代理有限公司 11514 | 代理人： | 邹成娇 |
| 地址： | 401121 重庆市渝北区北部新*** | 国省代码： | 重庆;50 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 网页分级信息 爬虫 规则节点 页面解析 网站 网页 数据采集效率 自定义规则 定制需求 对外接口 二次开发 数据抓取 提取数据 网页数据 网页信息 工作流 细化 解析 申请 应用 | ||
2.根据权利要求1所述的数据爬取方法，其特征在于，所述获取待爬取网站的网页分级信息，包括：
设置第一级页面解析规则节点，获取所述待爬取网站的当前网页的网页信息；
执行迭代操作，确定是否可由当前网页跳转至下一级网页，。
3.根据权利要求2所述的数据爬取方法，其特征在于，若可跳转至下一级网页，设置对应下一级的页面解析规则节点，并获取下一级网页的网页信息，直至确定不可由当前网页跳转至下一级网页。
4.根据权利要求1所述的数据爬取方法，其特征在于，上一级页面解析规则节点是相邻下一级页面解析规则节点的父节点。
5.根据权利要求1所述的数据爬取方法，其特征在于，所述方法还包括：每个节点包含有页面解析规则，用于解析设定格式或类型的网页信息。
6.一种数据爬取系统，其特征在于，包括：
获取模块，其用于获取待爬取网站的网页分级信息和相应的网页信息；
爬虫树生成模块，其用于基于网页分级信息，设定至少一级页面解析规则节点以生成爬虫树；
爬取模块，其用于基于所述爬虫树对所述待爬取网站进行数据爬取。
7.根据权利要求6所述的数据爬取系统，其特征在于，所述获取模块，包括：
当前网页信息获取单元，设置第一级页面解析规则节点，获取所述待爬取网站的当前网页的网页信息；
迭代获取单元，执行迭代操作，确定是否可由当前网页跳转至下一级网页。
8.根据权利要求6所述的数据爬取系统，其特征在于，上一级页面解析规则节点是相邻下一级页面解析规则节点的父节点。
9.根据权利要求6所述的数据爬取系统，其特征在于，每个节点包含有页面解析规则，用于解析设定格式或类型的网页信息。
10.根据权利要求6所述的数据爬取系统，其特征在于，所述系统还包括：
输出方式设定模块，设定爬取数据的输出方式。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于重庆八戒传媒有限公司，未经重庆八戒传媒有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910395359.6/1.html，转载请声明来源钻瓜专利网。
