[发明专利]一种基于QMIX算法的多智能体协作的分层式网络渗透方法

说明书

一种基于QMIX算法的多智能体协作分层网络渗透方法，包括：S1、对目标网络进行子网划分；S2、在基于分层强化学习的攻击路径发现的上层任务中，在各自的子网域分别放置一个智能体进行端口扫描工作，寻找到目标网络中的敏感主机并进行主机之间渗透的攻击规划；S3、选择好下一步攻击的目标主机并完成路径规划之后，在下层单主机的攻击规划任务中，提取目标主机的状态信息，继续基于QMIX算法框架选择一系列攻击动作，完成单主机渗透。本发明提高渗透效率与成功率。

技术领域

本发明属于多智能体强化学习和渗透测试领域，具体涉及一种基于多智能体协作的分层式网络渗透方法。

背景技术

近年来，人工智能在许多的领域都取得了亮眼的成就，并逐步从感知智能向决策智能迈进。强化学习是实现决策智能的重要路径，例如AlphaGo在围棋项目的卓越表现引起了强化学习的一股热潮，而现实世界中往往存在着与多智能体之间的交互，存在诸如合作，竞争等情形，比如机器人装配足球，自动驾驶中的多车辆之间的避让，以及游戏中存在的各种复杂的场景设置也促进着多智能体强化学习的发展。

渗透测试是模拟攻击者入侵系统，对系统进行逐步地渗透，发现系统的脆弱环节和隐藏风险。最后形成测试报告提供给系统所有者。系统所有者可根据测试报告对系统进行加固，提升系统的安全性，防止真正的攻击者入侵。目前，渗透测试主要是手动完成的，并且很大程度上依赖于执行该测试的黑客的经验。因此，如何能自动、快捷地获取目标信息并且完成渗透测试是未来网络安全行业的需要。

现有的自动化渗透测试框架从数据收集阶段、分析漏洞阶段再到最后的执行渗透阶段是大多数是由单个智能体完成的，此类方法效率较低，过程繁琐且成功率较低。为了更好的完成渗透测试的过程，需要提出一种能高效率完成渗透测试的方法。

综上所述，探索一种适用于多智能体协作的渗透测试的方法可以提升效率与成功率，智能体之间通过协作与交互信息快速完成对漏洞的扫描并根据所接收到的扫描信息完成对漏洞的渗透，对提升渗透效率方面具有极其重要的实践意义。

发明内容

鉴于上述，本发明要克服现有技术的上述缺点，提供一种支持多智能体协作的智能渗透的方法，以提高渗透测试的效率。

与其他智能化渗透测试方法不同，本发明将智能体渗透测试任务分为两层。并将网络进行手动划分，通过上层智能体共同扫描到的漏洞信息共享到下层的智能体并协作完成渗透测试。本发明的一种基于QMIX算法的多智能体协作的分层式网络渗透方法，包括如下步骤：

步骤1，划分子网。子网划分用于对目标的大型网络进行分割，可将处于同一个网段上的主机分成了不同的子网，划分子网能减小网络规模和主机数，从而使得每个智能体所需要处理·的状态空间减小。相对于直接处理大型网络，子网划分之后不同子网域的智能体可以将在各自的子网域所得到的经验共享给其他区域的智能体，以此来加快渗透进程。

步骤2，扫描端口。子网划分之后，上层的智能体对各自的子网域进行主机之间渗透的攻击规划。基于QMIX算法框架，通过不同子网域的智能体的观测与扫描动作，确定渗透测试目标的范围。通过情报信息搜集，发现渗透目标的安全漏洞与脆弱点，为以后渗透攻击提供基础。扫描操作可以根据当前受控主机的状态，选择下一步攻击的目标主机，使得智能体快速地实现所有敏感主机的渗透，完成路径规划任务。

步骤3，渗透主机。下层的每个智能体根据上层智能体扫描到的主机的状态信息，对敏感主机执行一系列攻击动作。为了使多智能体之间相互协同并且更快地执行操作，在该层仍选择QMIX算法框架，通过向每个智能体输入所扫描到包含敏感主机子网域的状态信息，执行一系列动作并通过共享每个智能体的渗透经验，选择最快的渗透路径与方法来完成对敏感主机的渗透。

迭代完成上述步骤，直至QMIX算法模型实现收敛，完成基于QMIX算法模型的训练。训练完成之后，我们将会得到敏感主机的控制权。