[发明专利]一种基于Q-Learning的自动化渗透测试系统和方法

权利要求书

1.一种基于Q-Learning的自动化渗透测试系统，其特征在于，包括以下组件：

控制管理组件，保持渗透测试员与渗透测试系统之间交互的组件；

学习决策组件，以强化学习算法Q-Learning为基础来学习所述渗透策略和采取渗透操作决策，包括学习渗透策略的渗透测试学习模块、采取渗透操作决策的渗透测试决策模块、处理渗透测试信息的信息处理模块和利用处理后信息进行建模的环境建模模块；

执行组件，支持对渗透测试目标执行信息收集、漏洞分析、漏洞利用和后渗透，包括支持信息收集和漏洞分析动作的辅助模块、支持漏洞利用的漏洞利用模块和有效载荷模块，以及支持执行后渗透动作的后渗透模块；

存储组件，存储系统运行过程中产生的可用动作信息、渗透测试目标信息、训练数据和测试数据，其中可用动作信息用于统计可用的信息收集、漏洞分析、漏洞利用和后渗透动作，渗透测试目标信息包括渗透测试目标的操作系统、端口、开放服务名称在内的信息，训练数据和测试数据则用于记录训练过程和测试过程中产生的数据；

所述控制管理组件将输入的指令进行解析后发送至学习决策组件、所述执行组件和所述存储组件，各组件将执行结果发送至所述管理组件；

所述学习决策组件将执行过程中产生的所述执行组件的信息、所述训练数据、所述测试数据和所述渗透测试目标发送至所述存储组件进行存储；

所述学习决策组件按照渗透策略来采取渗透操作决策，并将渗透操作决策发送至执行组件，由其来执行对应操作；执行组件将操作的执行结果发送至所述学习决策组件，学习决策组件从所述执行结果中学习所述渗透策略。

2.如权利要求1所述的基于Q-Learning的自动化渗透测试系统，其特征在于，所述执行组件以Metapsloit框架为基础，并结合pymetasploit3库来满足学习决策组件的远程调用；

所述执行组件利用Nmap工具对渗透测试目标进行探测，获取目标系统的渗透测试目标信息。

3.如权利要求1所述的基于Q-Learning的自动化渗透测试系统，其特征在于，所述渗透测试目标信息包括渗透测试目标的操作系统、开放端口、开放服务的名称和版本号在内的信息；

所述学习决策组件能够基于所述执行组件通过关键字来匹配可用于开放服务的漏洞利用操作。

4.如权利要求1所述的基于Q-Learning的自动化渗透测试系统，其特征在于，所述学习决策组件还按照渗透策略，从漏洞利用操作中根据操作评估值的大小来选出最佳的漏洞利用操作；

所述学习决策组件获取最佳漏洞利用操作的可用有效载荷，并从可用有效载荷中根据载荷评估值的大小来选择最佳有效载荷。

5.如权利要求4所述的基于Q-Learning的自动化渗透测试系统，其特征在于，所述学习决策组件将所获取的最佳漏洞利用操作和最佳有效载荷发送给执行组件，由执行组件对所述渗透测试目标执行漏洞攻击；

所述执行组件在对渗透测试目标执行漏洞攻击后，若漏洞攻击执行成功，则建立攻击会话；若漏洞攻击执行不成功则切换其他漏洞执行攻击，以建立攻击会话；

在建立攻击会话之后，学习决策组件根据攻击执行结果返回信息对攻击会话进行判断；若所述攻击会话为非高级攻击会话，则学习决策组件将发出攻击提升指令给执行组件，执行组件将攻击会话升级为高级攻击会话以支持后渗透操作；

在建立高级攻击会话之后，学习决策组件发出后渗透操作指令，由执行组件基于高级攻击会话对渗透测试目标进行后渗透操作。