[发明专利]一种用于新闻博客类网站的通用低代码爬虫方法及系统在审
| 申请号： | 202210001246.5 | 申请日： | 2022-01-04 |
| 公开（公告）号： | CN114491206A | 公开（公告）日： | 2022-05-13 |
| 发明（设计）人： | 杨国武;谈振伟;杜佩佩;孙相鹏;董广县 | 申请（专利权）人： | 电子科技大学 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/954 |
| 代理公司： | 电子科技大学专利中心 51203 | 代理人： | 吴姗霖 |
| 地址： | 611731 四川省成*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种用于新闻博客类网站的通用低代码爬虫方法及系统，属于网络爬虫技术领域。方法的核心步骤包括：创建各待爬取网站的配置文件；选择运行方式并加载目标网站的各项配置；提取目标网站导航栏中所有分类导航的链接及类别名；对各分类导航链接，提取文章列表页面的所有文章链接并加入待爬取列表；对待爬取列表中各文章，提取文章页面资源中的各项信息并进行持久化存储；重复执行直至完成所有爬取任务。爬虫系统提供的能力主要包括自定义功能扩展、多任务管理、多种方式持久化存储、兼容不同类型网站、日志及进度管理等方面。本发明只需添加待爬取网站的各项配置，即可完成满足基本需求的文章爬取，大幅度提升爬虫程序开发和维护效率。 | ||
| 搜索关键词： | 一种 用于 新闻 博客 网站 通用 代码 爬虫 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于电子科技大学，未经电子科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210001246.5/，转载请声明来源钻瓜专利网。
