[发明专利]基于分布式网络爬虫的地理空间数据获取系统及方法有效
| 申请号： | 202110640002.7 | 申请日： | 2021-06-09 |
| 公开（公告）号： | CN113254747B | 公开（公告）日： | 2021-10-15 |
| 发明（设计）人： | 杜志强;呙维 | 申请（专利权）人： | 南京北斗创新应用科技研究院有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/9537;G06F16/29;G06F16/25;G06F9/50 |
| 代理公司： | 南京创略知识产权代理事务所(普通合伙) 32358 | 代理人： | 闫方圆 |
| 地址： | 210000 江苏省*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于分布式网络爬虫的地理空间数据获取系统及方法，系统包括用户需求发布模块、调度引擎服务模块、可执行爬虫程序集模块、HTCondor集群模块和分布式爬虫数据库模块，通过网络爬虫的方式进行互联网空间信息采集，抽取出目标数据及时存入数据库中，可以为对泛在地理空间数据进行进一步的管理使用提供了数据基础。清楚各种来源数据的特点和共同之处。通过归类总结不同类型数据、不同来源数据的获取方法，针对重要的泛在地理空间数据源设计定制化的数据获取应用，并将其融合到分布式爬虫框架中进行综合调度管理，可以实现良好的泛在数据获取效果。 | ||
| 搜索关键词： | 基于 分布式 网络 爬虫 地理 空间 数据 获取 系统 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京北斗创新应用科技研究院有限公司，未经南京北斗创新应用科技研究院有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110640002.7/，转载请声明来源钻瓜专利网。
