[发明专利]一种暗网空间数据采集方法及装置

权利要求书

1.一种暗网空间数据采集方法，其特征在于，包括：

搭建分布式系统基础架构；

在所述分布式系统基础架构中，构建Web请求池；

根据所述Web请求池中Web请求的数量和类型，动态计算任务量，并弹性分配给部署在所述分布式系统上的采集引擎；

所述采集引擎根据分配到的采集任务基于异步I/O模型采集文本空间的暗网数据，并存储到分布式系统上的数据仓库；

解析采集到的所述暗网数据并抽取目标信息；

所述在所述分布式系统基础架构中，构建Web请求池，包括：

基于本体语料库动态生成用于匹配抓取内容的关键词列表；

通过配置式的表单模板生成与所述关键词列表中的关键词匹配的查询表单，作为Web请求；

将生成的所述Web请求存储于Web请求池；

所述方法还包括：确定采集到的所述暗网数据的数据结构类型；

根据所述暗网数据的数据结构类型进行内容解析并抽取其所包含的数据统计信息；

根据所述数据统计信息构建新的查询表单，作为Web请求存储到所述Web请求池中。

2.根据权利要求1所述的方法，其特征在于，所述解析采集到的所述暗网数据并抽取目标信息，包括：

采用基于可扩展标记语言XML构建的解析模板对所述暗网数据进行解析；

其中所述解析过程中，基于XPath进行细粒度节点的查找和定位，从而获取所述目标信息。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：对抽取到的所述目标信息进行数据结构转换与格式标准化；

其中，所述目标信息包括属性信息，将所述属性信息与给定的数据结构进行映射，实现数据结构转换；将所述属性信息按照既定的标准进行转换和补充，得到标准化的表达。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：将提取的目标信息存储到MongoDB数据库中。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：根据文本属性和空间属性分别建立索引表，为所述目标信息查询提供查询通道。

6.一种暗网空间数据采集装置，其特征在于，包括：

系统架构搭建模块，用于搭建分布式系统基础架构；

请求池构建模块，用于在所述分布式系统基础架构中，构建Web请求池；

任务分配模块，用于根据所述Web请求池中Web请求的数量和类型，动态计算任务量，并弹性分配给部署在所述分布式系统上的采集引擎；

数据采集模块，用于所述采集引擎根据分配到的采集任务基于异步I/O模型采集文本空间的暗网数据，并存储到分布式系统上的数据仓库；

信息抽取模块，用于解析采集到的所述暗网数据并抽取目标信息；

所述请求池构建模块，具体用于根据下述步骤在所述分布式系统基础架构中，构建Web请求池：基于本体语料库动态生成用于匹配抓取内容的关键词列表；

通过配置式的表单模板生成与所述关键词列表中的关键词匹配的查询表单，作为Web请求；

将生成的所述Web请求存储于Web请求池；

所述装置还包括：Web请求池扩充模块，用于确定采集到的所述暗网数据的数据结构类型；根据所述暗网数据的数据结构类型进行内容解析并抽取其所包含的数据统计信息；根据所述数据统计信息构建新的查询表单，作为Web请求存储到所述Web请求池中。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：结构转换与标准化模块，用于对抽取到的所述目标信息进行数据结构转换与格式标准化；其中，所述目标信息包括属性信息，将所述属性信息与给定的数据结构进行映射，实现数据结构转换；将所述属性信息按照既定的标准进行转换和补充，得到标准化的表达；和/或，

还包括：存储模块，用于将提取的目标信息存储到MongoDB数据库中。