[发明专利]数据爬取方法及系统在审
| 申请号： | 201910395359.6 | 申请日： | 2019-05-13 |
| 公开（公告）号： | CN110134853A | 公开（公告）日： | 2019-08-16 |
| 发明（设计）人： | 郭奇杰 | 申请（专利权）人： | 重庆八戒传媒有限公司 |
| 主分类号： | G06F16/953 | 分类号： | G06F16/953 |
| 代理公司： | 北京酷爱智慧知识产权代理有限公司 11514 | 代理人： | 邹成娇 |
| 地址： | 401121 重庆市渝北区北部新*** | 国省代码： | 重庆;50 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请提供一种数据爬取方法及系统，所述方法包括：获取待爬取网站的网页分级信息和相应的网页信息；基于网页分级信息，设定至少一级页面解析规则节点以生成爬虫树；基于所述爬虫树对所述待爬取网站进行数据爬取。本采用工作流的方式来获取网页数据，应用自定义规则的方式来解析网页，获取自己需要的信息，能够大大提高不同类型网页的数据采集效率，同时结合对外接口，方便用户二次开发使用，满足用户各类定制需求。同时通过多级页面解析规则节点的设置，可以细化提取数据，进一步提高数据抓取的效率和速度。 | ||
| 搜索关键词： | 网页分级信息 爬虫 规则节点 页面解析 网站 网页 数据采集效率 自定义规则 定制需求 对外接口 二次开发 数据抓取 提取数据 网页数据 网页信息 工作流 细化 解析 申请 应用 | ||
【主权项】：
1.一种数据爬取方法，其特征在于，包括：获取待爬取网站的网页分级信息和相应的网页信息；基于网页分级信息，设定至少一级页面解析规则节点以生成爬虫树；基于所述爬虫树对所述待爬取网站进行数据爬取。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于重庆八戒传媒有限公司，未经重庆八戒传媒有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910395359.6/，转载请声明来源钻瓜专利网。
