[发明专利]一种高效的分布式大数据采集系统在审
| 申请号： | 201711236195.X | 申请日： | 2017-12-01 |
| 公开（公告）号： | CN110019465A | 公开（公告）日： | 2019-07-16 |
| 发明（设计）人： | 周峻松;徐继峰;祁建明;陈墩金 | 申请（专利权）人： | 广州明领基因科技有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 510610 广东省广州市天河区*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种高效的分布式大数据采集系统，该系统包括：抓取模块、IP代理池模块、解析模块、URL处理模块以及数据存储模块；其中，所述抓取模块是从URL队列中获取要爬取的URL后便从Internet抓取指定的原始数据；所述IP代理池模块负责给所述抓取模块提供可用代理；所述解析模块用于对数据进行预处理与抽取；所述URL处理模块主要用于对URL相关数据的处理；所述数据存储模块负责对数据进行规则化和持久化，为后续的分析和处理奠定基础。 | ||
| 搜索关键词： | 抓取 数据存储模块 采集系统 解析模块 大数据 预处理 模块提供 原始数据 持久化 规则化 可用 抽取 代理 分析 | ||
【主权项】：
1.一种高效的分布式大数据采集系统，其特征在于，所述系统包括：抓取模块、IP代理池模块、解析模块、URL处理模块以及数据存储模块；其中，所述抓取摸块从URL队列中获取要爬取的URL后便从Internet抓取指定的原始数据；所述IP代理池模块负责给所述抓取模块提供可用代理；所述解析模块用于对数据进行预处理与抽取；所述URL处理模块主要用于对URL相关数据的处理；所述数据存储模块负责对数据进行规则化和持久化，为后续的分析和处理奠定基础。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广州明领基因科技有限公司，未经广州明领基因科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711236195.X/，转载请声明来源钻瓜专利网。
- 上一篇：页面处理方法及装置
- 下一篇：基于元数据的大数据集成系统
