[发明专利]基于分布式架构的可视化主题网页内容爬取系统及方法在审
| 申请号： | 201811041524.X | 申请日： | 2018-09-07 |
| 公开（公告）号： | CN109284430A | 公开（公告）日： | 2019-01-29 |
| 发明（设计）人： | 王科 | 申请（专利权）人： | 杭州艾塔科技有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 310052 浙江省杭州市滨*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明主要公开了基于分布式架构的可视化主题网页内容爬取系统及方法，其技术方案：包括包括三大子系统，分别为可视化子系统、爬取子系统以及分布式存储索引子系统；网页内容爬取方法通过任务初始化提交，任务生成，任务调度，任务执行，任务状态跟踪五大步骤进行，本发明能够高效并发支持网页内容请求，爬取各种主题网站，解析页面源代码后把非结构化数据变成结构化数据存放在分布式存储系统上索引，可以有效支撑后续大规模结构化数据的分析和挖掘，同时本发明在提高数据采集效率情况下能大大降低海量网页采集的软硬件成本。 | ||
| 搜索关键词： | 分布式架构 爬取系统 主题网页 可视化 分布式存储系统 源代码 非结构化数据 数据采集效率 网页内容请求 大规模结构 分布式存储 结构化数据 任务初始化 软硬件成本 索引子系统 任务调度 任务生成 任务执行 任务状态 网页采集 网页内容 主题网站 后把 可视 索引 页面 并发 解析 挖掘 跟踪 支撑 分析 | ||
【主权项】：
1.基于分布式架构的可视化主题网页内容爬取系统，其特征在于，包括可视化子系统、爬取子系统以及分布式存储索引子系统，每个子系统分若干模块。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于杭州艾塔科技有限公司，未经杭州艾塔科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811041524.X/，转载请声明来源钻瓜专利网。
