[发明专利]一种分布式的互联网重要地址空间检索系统

说明书

本发明公开了一种分布式的互联网重要地址空间检索系统，用于防范针对网站组件和主机设备的漏洞攻击，维护互联网安全。通过系统管理模块导入待扫描网站列表，管理网站组件指纹，提交即时扫描任务并查看任务进度，收集系统中各部分运行状态并进行管理和控制；通过网站信息收集模块对待扫描网站列表中的域名或IP地址进行页面爬取、网站组件识别、主机扫描、端口探测；通过数据库模块保存待扫描网站列表、网站组件指纹、扫描策略以及扫描结果；通过检索和统计模块对保存的扫描结果进行关键字检索，并对检索结果进行统计分析；通过WebUI模块提供用户和系统交互的Web界面。有效组织和合理配置系统资源，并对所有功能部件进行动态管理和使用。

技术领域

本发明属于互联网搜索技术领域，更具体地，涉及一种可以对在线主机设备和Web组件进行综合检索的互联网重要地址空间检索系统。

背景技术

随着互联网的快速发展，各种网络设备、服务器、操作系统、编程语言、开源组件、开发技术等构成了丰富多彩的网络世界。然而缤纷之下却暗藏着危机，漏洞的存在让互联网时刻处于不安全的状态。

许多互联网公司针对网络安全问题推出了一系列的安全产品，例如360的可信网站认证开放平台通过认证联盟、凭安信用、沃通等信用来源来对网站进行安全身份认证，有效打击危险网站，为用户打造安全的上网环境。国舜科技公司推出的一款网页防篡改防护系统UnisGuard，采用动静结合的防护方式同时对网页文件以及Web访问交互数据进行监控，有效防止恶意篡改和攻击。安全宝曾是创新工场中唯一一个在安全领域投资的项目，如今已被百度收购，也是一款网站安全防护软件。这些产品都是针对单一的网站或网页出现的安全问题来实施安全防护措施，然而目前的大多数漏洞攻击都是基于网络设备本身的缺陷或者网站组件(操作系统、开放服务、Web容器、开源Web组件、Web应用等)的缺陷进行的。一旦不法分子开发出针对某个组件或者主机设备的漏洞利用代码，就可以使一批网站或者设备沦陷。

为了防范针对网站组件和主机设备的漏洞攻击，维护互联网的安全，需要对一批相关网站所使用的组件和在线主机设备的指纹信息进行详细的识别和记录，以便在它们暴露出安全漏洞时，及时得到它们的详细信息，评估漏洞对它们的影响，进而分析出漏洞影响的网站列表和主机设备列表，并通知仍在使用这些组件或主机设备的网站管理员进行组件更新或主机设备升级等安全加固措施，因此网络空间搜索引擎应运而生。

目前已有的网络空间搜索引擎，包括国外的Shodan，在全球查询IP地址，在若干常见端口查找和保存系统旗标信息(banner)。用户可以在这些banner中查询关键词，通过元数据(端口、IP、域名等)进行过滤。其工作原理是对各类设备的端口产生的banner进行审计而产生搜索结果，侧重于网络设备。国内的Zoomeye由互联网安全厂商知道创宇公司创建，名字译为“钟馗之眼”，是一个针对网络空间中Web服务组件而制作的搜索引擎，它侧重于发现网络或网站的组成部分，即Web服务组件。

针对主机设备的指纹采集，主要目的是获取全网IP以及网络设备信息，比较常用的是一款模块化的扫描全网IPv4地址的工具——Zmap，由美国密歇根大学研究者开发。在第22届USENIX安全研讨会上，以超过Nmap1300倍的扫描速度声名鹊起。它能够通过一台机器在45分钟内扫描互联网上所有的IPv4地址空间，其扫描的结果达到了98％的覆盖率。

现有的网络空间搜索引擎系统大多存在以下几点问题：

(1)有的系统偏重于主机层面的资产发现，而有些则偏重于Web层面的资产发现，它们均没有综合考虑主机设备和Web组件，并且对标识Web组件的海量数据没有进行合理的整合和优化。

(2)在对关键字进行检索的时候，现有搜索引擎系统返回数据的本质就是其内部积累的数据以及使用Web指纹识别程序识别出来的数据，但一个识别程序只能针对一个组件，缺乏针对指纹库内组件的合理分类标准。

发明内容