[发明专利]一种暗网空间数据采集方法及装置

说明书

本发明涉及互联网络信息技术领域，尤其涉及一种暗网空间数据采集方法及装置。一种暗网空间数据采集方法，包括：搭建分布式系统基础架构；在分布式系统基础架构中，构建Web请求池；根据Web请求池中Web请求的数量和类型，动态计算任务量，并弹性分配给部署在分布式系统上的采集引擎；采集引擎根据分配到的采集任务基于异步I/O模型采集文本空间的暗网数据，并存储到分布式系统上的数据仓库；解析采集到的暗网数据并抽取目标信息。本发明的暗网空间数据采集方法及装置，能够实现对暗网空间数据的采集。

技术领域

本发明涉及互联网络信息技术领域，具体而言，涉及一种暗网空间数据采集方法及装置。

背景技术

自从2006年云的设想被Google提出以来，国内外的学术界和产业界都给与了极大的关注。在学术领域，Scientific Cloud和Open Nebula是有名的云计算科学研究项目。在产业界，Google云计算平台率先领跑，提出了分布式计算框架下分布式文件系统GFS(Google File System)、MapReduce分布式编程框架和并行处理的数据库系统Big Table；由于云计算平台将所有数据存储在网上和能够提供强大的计算资源等特点，使其成为了研究热点。

随着互联网不断深入社会生活各个角落，互联网的信息更新速度加快，且蕴含丰富的空间位置信息。互联网已是公众获取信息的主要渠道，相对传统信息收集和传播方式更为广泛，更新速度快，成为了全社会、多领域、广纵深、近实时的动态映像。因此，充分利用互联网信息，挖掘出有效的空间数据，将是信息服务的一个重要内容和发展方向，也是对传统测绘手段获取空间数据的一个有效补充手段。

根据IDC的数据，人类社会一天产生的信息量为8兆万亿字节，而其中大量的内容包含有与地理空间有关的信息。据统计，18.78％的网络资源包含有空间位置信息，而空间位置相关的用户检索则占18.6％。目前在Web 2.0时代，数以亿计的网民还可以自发通过网络(如微博、微信、社交网络等)发布各种具有地理空间意义的信息，出现了大众参与的自发地理信息系统(Volunteer GIS)，如OpenStreetMap、Wikimapia等。此外，还有大量带有地理信息的图片和文本。海量VGI数据广泛分布在互联网中，如何有效的采集这些VGI数据则成为了研究的热点。

暗网(Hidden Web)是指网络上不能通过静态链接获取其内容的web页面，如各网站通过用输入关键词才能获得表单内容的页面，需要登录才能获取的页面等，这些页面是目前搜索引擎所无法抓取的网页、不能直接进行检索的网页，即“看不见”的网站。2000年由Bright Planet公司发布的一个名为《The Deep Web-Surfacing The Hidden Value》白皮书中提供的数据，“暗网”包含100亿个不重复的表单，其包含的信息量是“非暗网”的40倍，有效高质内容总量至少是后者的1000倍到2000倍。而此比率随着时间推移正在越来越大。发掘、索引和丰富展示更多的暗网数据，对各搜索引擎来说已经势在必行或者正在实施。

综上研究和开发一种分布式的暗网空间数据采集技术，具有重要的科研价值和市场前景。

发明内容

本发明的目的在于提供一种暗网空间数据采集方法及装置，以实现对暗网空间数据的采集。

第一方面，本发明实施例提供了一种暗网空间数据采集方法，包括：搭建分布式系统基础架构；在所述分布式系统基础架构中，构建Web请求池；根据所述Web请求池中Web请求的数量和类型，动态计算任务量，并弹性分配给部署在所述分布式系统上的采集引擎；所述采集引擎根据分配到的采集任务基于异步I/O模型采集文本空间的暗网数据，并存储到分布式系统上的数据仓库；解析采集到的所述暗网数据并抽取目标信息。