[发明专利]一种暗网数据搜索方法及搜索引擎

说明书

技术领域

本发明涉及网络搜索技术，尤其涉及一种暗网数据搜索方法及搜索引擎。

背景技术

暗网(Hidden Web)是指网络上不能通过静态链接获取其内容的web页面，如各网站通过用输入关键词才能获得表单内容的页面，需要登录才能获取的页面等，这些页面是目前搜索引擎所无法抓取的网页、不能直接进行检索的网页，即“看不见”的网站。

2000年由Bright Planet公司发布的一个名为《The Deep Web-Surfacing TheHidden Value》白皮书中提供的数据，“暗网”包含100亿个不重复的表单，其包含的信息量是“非暗网”的40倍，有效高质内容总量至少是后者的1000倍到2000倍。而此比率随着时间推移正在越来越大。发掘、索引和丰富展示更多的暗网数据，对各搜索引擎来说已经势在必行或者正在实施。

对于暗网数据的检索，目前搜索业界通行的策略是：由搜索引擎侧开放统一的API接口，各大暗网网站提交已经结构化的暗网数据，并设定好关键词和展示方式、位置。搜索引擎后台通过Key-Value的索引方式，对这些结构化的暗网数据进行索引，当用户输入的关键词(key)与暗网网站设定的索引相匹配时，展示既定的静态结果(value)给用户。这样的检索方法，只能按照暗网网站提供的检索词进行死板的检索、排序和展示，仅能够展示暗网提供的结构化暗网数据。

发明内容

有鉴于此，本发明的主要目的在于提供一种暗网数据搜索方法及搜索引擎，以解决暗网数据搜索不灵活的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种暗网数据搜索方法，所述方法包括：

从暗网上获取暗网数据；

根据预配置搜索使用的数据结构转换规则，将所述暗网数据的数据结构转换为搜索通用的数据结构，生成暗网数据检索库；

基于所述暗网数据检索库进行暗网数据的搜索处理。

在上述方案中，所述方法还包括：配置搜索使用的数据结构转换规则。

在上述方案中，所述配置搜索使用的数据结构转换规则，包括：基于接收到的搜索配置请求中包含的配置参数，配置搜索使用的数据结构转换规则。

在上述方案中，所述配置搜索使用的数据结构转换规则包括：配置用于标识暗网数据产品类型的暗网ID以及暗网数据各字段的搜索属性，将暗网数据作为索引的字段配置为该暗网数据的命中条件。

在上述方案中，所述基于所述暗网数据检索库进行暗网数据的搜索处理，包括：

获取搜索条件，从所述搜索条件中提取出进行搜索的关键字，以提取出的关键字作为暗网ID和命中条件，在所述暗网数据检索库中检索相匹配的暗网数据。

本发明还提供了一种暗网数据搜索引擎，所述搜索引擎包括：获取单元、转换单元和搜索处理单元；其中，

获取单元，用于从暗网上获取暗网数据；

转换单元，用于根据预配置搜索使用的数据结构转换规则，将所述获取单元所获取暗网数据的数据结构转换为搜索通用的数据结构，生成暗网数据检索库；

搜索处理单元，用于基于所述转换单元生成的暗网数据检索库进行暗网数据的搜索处理。

在上述方案中，所述搜索引擎还包括：配置单元，用于配置搜索使用的数据结构转换规则；

所述转换单元，具体用于根据所述配置单元预配置的数据结构转换规则，将所述获取单元所获取暗网数据的数据结构转换为搜索通用的数据结构，生成暗网数据检索库。

在上述方案中，所述配置单元，还用于基于接收到的搜索配置请求中包含的配置参数，配置搜索使用的数据结构转换规则。

在上述方案中，所述配置单元，具体用于配置用于标识暗网数据产品类型的暗网ID以及暗网数据各字段的搜索属性，将暗网数据作为索引的字段配置为该暗网数据的命中条件。。

在上述方案中，所述搜索处理单元，具体用于获取搜索条件，从所述搜索条件中提取出进行搜索的关键字，以提取出的关键字作为暗网ID和命中条件，在所述转换单元生成的暗网数据检索库中检索相匹配的暗网数据。