[发明专利]一种基于Q-Learning的自动化渗透测试系统和方法

说明书

本发明公开了一种基于Q‑Learning的自动化渗透测试系统和方法，涉及渗透测试的信息收集、漏洞分析、漏洞利用和后渗透阶段；通过结合强化学习Q‑Learning算法和渗透测试技术，本系统和方法能够通过不断地尝试，从经验中学习渗透测试策略，最终以此来指导渗透测试的执行，实现自动化。本发明从一定程度上降低了渗透测试的难度，提高了渗透测试的效率和自动化程度。

技术领域

本发明属于网络安全技术领域，涉及一种基于Q-Learning的自动化渗透测试系统和方法。

背景技术

随着互联网深入社会的方方面面，网络安全已经成为国家安全的一部分。任何组织和个人都不能忽略网络安全的重要性。为保证网络安全，传统的防御性安全措施已经无法满足现实需求。不断涌现的新兴技术使得网络环境更加复杂，同时网络攻击手段也日新月异，这些使得网络安全态势极为严峻。渗透测试作为一种新型的网络安全审计手段，能够从攻击者角度对目标网络进行可控攻击，以此来评估防御措施的有效性。

在网络安全领域，渗透测试是一种由渗透测试人员模拟攻击者对计算机网络执行受控攻击，以评估其安全性的方法。当前，它是组织用来评估其网络防御措施有效性的关键方法之一。无论手动还是自动化渗透测试，都需要按照一定的标准来执行。依据渗透测试执行标准（Penetration Testing Execution Standard，简称PTES），渗透测试包含前期交互、信息收集、威胁建模、漏洞分析、漏洞利用、后渗透和生成报告共七个阶段。

相比手动渗透测试，自动化渗透测试的关键在于没有渗透测试人员指导的情况下完成渗透测试。对此，需要根据上述各阶段的主要工作内容，分析渗透测试人员在各阶段中的必要性。前期交互阶段和生成报告阶段都需要与客户进行交流。因此在这两个阶段中，渗透测试人员都不可或缺。而在其他阶段，渗透测试人员则可以利用现成的工具来完成工作。例如：用于情报收集的Recon-ng 和 Maltego，用于漏洞分析的Nessus、OpenVAS、AWVS和Nexpose，以及常用于漏洞利用和后渗透阶段的Metasploit框架。因此在自动化渗透测试中主要考虑情报收集、漏洞分析、漏洞利用和后渗透这四个阶段。

虽然上述这些工具无疑对网络安全行业人员带来了极大的便利，但是仍然需要深入学习才能熟练使用这些工具。另外，对现有渗透测试工具的分析表明，这些工具大都未在渗透测试过程中提供自动化决策，无法独立于渗透测试人员而进行动作。

发明内容

针对现有渗透测试工具无法自主决策和学习的不足，本发明解决的技术问题在于提供一种基于Q-Learning的自动化渗透测试系统和方法，将强化学习算法与渗透测试技术相结合，实现能够自主学习、自主决策的自动化渗透测试工具。

本发明是通过以下技术方案来实现：

一种基于Q-Learning的自动化渗透测试系统，包括以下组件：

控制管理组件，保持渗透测试员与渗透测试系统之间交互的组件；

学习决策组件，以强化学习算法Q-Learning为基础来学习所述渗透策略和采取渗透操作决策，包括学习渗透策略的渗透测试学习模块、采取渗透操作决策的渗透测试决策模块、处理渗透测试信息的信息处理模块和利用处理后信息进行建模的环境建模模块；

执行组件，支持对渗透测试目标执行信息收集、漏洞分析、漏洞利用和后渗透，包括支持信息收集和漏洞分析动作的辅助模块、支持漏洞利用的漏洞利用模块和有效载荷模块，以及支持执行后渗透动作的后渗透模块；

存储组件，存储系统运行过程中产生的可用动作信息、渗透测试目标信息、训练数据和测试数据，其中可用动作信息用于统计可用的信息收集、漏洞分析、漏洞利用和后渗透动作，渗透测试目标信息包括渗透测试目标的操作系统、端口、开放服务名称在内的信息，训练数据和测试数据则用于记录训练过程和测试过程中产生的数据；

所述控制管理组件将输入的指令进行解析后发送至学习决策组件、所述执行组件和所述存储组件，各组件将执行结果发送至所述管理组件；