[发明专利]一种分布式的互联网重要地址空间检索系统

权利要求书

1.一种分布式的互联网重要地址空间检索系统，其特征在于，包括：系统管理模块、网站信息收集模块、数据库模块、检索和统计模块、WebUI模块；

所述系统管理模块，用于导入待扫描网站列表，管理网站组件指纹，提交即时扫描任务并查看任务进度，收集系统中各部分的运行状态并分别对各部分的运行状态进行管理和控制，其中，所述待扫描网站列表中包括需要周期性扫描的网站的信息；

所述网站信息收集模块，用于针对所述待扫描网站列表中的域名或IP地址进行Web页面爬取、Web组件识别、网站服务器主机扫描、端口探测；

所述数据库模块，用于保存所述待扫描网站列表、所述网站组件指纹、扫描策略以及扫描结果；

所述数据库模块包括：元信息数据库模块、组件指纹数据库模块、扫描结果数据库模块；

所述元信息数据库模块，用于管理所述待扫描网站列表，其中，所述待扫描网站列表包括需要周期性扫描的网站的信息；

所述组件指纹数据库模块，用于存储所述网站组件指纹，其中，所述网站组件指纹包含组件名称、组件特征集合和组件识别规则；

所述扫描结果数据库模块，用于存储所述网站信息收集模块收集到的扫描结果，其中，所述扫描结果包括周期性扫描作业的执行结果和即时扫描任务的执行结果；

所述检索和统计模块，用于对保存在所述数据库模块中的扫描结果进行关键字检索，并对检索结果进行统计分析；

所述WebUI模块，用于提供Web界面，采用B/S模式完成用户和系统的交互，提供系统管理、网站组件指纹更新、即时扫描任务提交、扫描结果查询与统计、信息导入导出功能；

所述网站信息收集模块包括分析识别模块；所述分析识别模块，用于根据所述组件指纹数据库模块中的组件特征集合以及组件识别规则，对数据爬取模块爬取的信息进行分析整理，将得到的网站内容信息、网站组件信息以及用以识别出网站组件的特征数据存入所述扫描结果数据库模块；

所述分析识别模块中的分析识别过程包含被动检测和主动分析两个阶段，在分析识别过程中，所述分析识别模块，具体用于首先从所述组件指纹数据库模块中读取组件特征集合，然后确定从目标站点下载内容的目标URL和发送的探测IP报文，接着向目标URL发送GET请求或向网站主机发送探测IP报文，获得从网站主机返回的数据，通过分析HTTP响应或者回送IP报文判断是否检测出组件的各个特征，最后根据检测出的特征集合和匹配规则判断目标站点是否使用了该网站指纹组件；

在被动检测阶段，所述分析识别模块根据已下载的Web内容的HTTP响应头、响应主体推断网站采用的Web组件；所述响应主体包括HTML文本、图片；

在主动分析阶段，所述分析识别模块制造特定的URL与Web服务器交互，通过对Web服务器返回的信息来推断其使用的Web组件。

2.根据权利要求1所述的系统，其特征在于，所述系统管理模块包括：网站元信息导入模块、系统运行状态管理模块、即时任务管理模块、指纹库管理模块；

所述网站元信息导入模块，用于导入所述待扫描网站列表，其中，所述待扫描网站列表中包括需要周期性扫描的网站的信息；

所述系统运行状态管理模块，用于解析系统的配置，启动或停止系统中其它模块的运行，获取其它各模块的运行状态信息，并对其它各模块的运行状态进行调整和控制；

所述即时任务管理模块，用于管理和调度即时扫描任务的执行，并跟踪即时扫描任务执行的状态进度；

所述指纹库管理模块，用于管理所述组件指纹数据库模块中的网站组件指纹。

3.根据权利要求2所述的系统，其特征在于，所述网站信息收集模块还包括：任务调度模块、消息队列模块、数据爬取模块；

所述任务调度模块，用于解析所述待扫描网站列表中的周期性扫描任务以及用户提交的即时扫描任务，利用所述组件指纹数据库解析出网站组件指纹识别过程中需要从服务器下载的信息，并调度所述数据爬取模块从网站下载所述信息；

所述消息队列模块，用于供所述任务调度模块向所述数据爬取模块以消息队列的方式传递下载任务；

所述数据爬取模块，用于将爬取的信息通过消息队列传递给所述分析识别模块。