[发明专利]一种暗网空间数据采集方法及装置

摘要

本发明涉及互联网络信息技术领域，尤其涉及一种暗网空间数据采集方法及装置。一种暗网空间数据采集方法，包括：搭建分布式系统基础架构；在分布式系统基础架构中，构建Web请求池；根据Web请求池中Web请求的数量和类型，动态计算任务量，并弹性分配给部署在分布式系统上的采集引擎；采集引擎根据分配到的采集任务基于异步I/O模型采集文本空间的暗网数据，并存储到分布式系统上的数据仓库；解析采集到的暗网数据并抽取目标信息。本发明的暗网空间数据采集方法及装置，能够实现对暗网空间数据的采集。

主权项

1.一种暗网空间数据采集方法，其特征在于，包括：搭建分布式系统基础架构；在所述分布式系统基础架构中，构建Web请求池；根据所述Web请求池中Web请求的数量和类型，动态计算任务量，并弹性分配给部署在所述分布式系统上的采集引擎；所述采集引擎根据分配到的采集任务基于异步I/O模型采集文本空间的暗网数据，并存储到分布式系统上的数据仓库；解析采集到的所述暗网数据并抽取目标信息；所述在所述分布式系统基础架构中，构建Web请求池，包括：基于本体语料库动态生成用于匹配抓取内容的关键词列表；通过配置式的表单模板生成与所述关键词列表中的关键词匹配的查询表单，作为Web请求；将生成的所述Web请求存储于Web请求池；所述方法还包括：确定采集到的所述暗网数据的数据结构类型；根据所述暗网数据的数据结构类型进行内容解析并抽取其所包含的数据统计信息；根据所述数据统计信息构建新的查询表单，作为Web请求存储到所述Web请求池中。