[发明专利]基于Node.js的爬虫方法、装置、计算机设备及存储介质在审
| 申请号： | 202011267489.0 | 申请日： | 2020-11-13 |
| 公开（公告）号： | CN112380413A | 公开（公告）日： | 2021-02-19 |
| 发明（设计）人： | 董帮付;于海生 | 申请（专利权）人： | 平安普惠企业管理有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951 |
| 代理公司： | 深圳国新南方知识产权代理有限公司 44374 | 代理人： | 周雷 |
| 地址： | 518000 广东省深圳市前海深港合作区前*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及大数据技术领域，应用于数据采集技术领域，揭露了一种基于Node.js的爬虫方法、装置、设备及存储介质。该基于Node.js的爬虫方法包括获取待访问队列；其中，所述待访问队列包括多个访问地址；每一所述访问地址对应一网页；基于所述访问地址，调用多个爬虫任务进程执行图像下载任务；其中，每一所述爬虫任务进程对应处理一所述访问地址；接收每一所述爬虫任务进程下载的图像数据，并将所述图像数据存储至结果处理队列中；调用一结果处理进程从所述结果处理队列中取出每一所述图像数据，并写入至目标文件中。该基于Node.js的爬虫方法可有效解决当前单进程方式爬虫导致的爬虫效率的问题。 | ||
| 搜索关键词： | 基于 node js 爬虫 方法 装置 计算机 设备 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于平安普惠企业管理有限公司，未经平安普惠企业管理有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202011267489.0/，转载请声明来源钻瓜专利网。
