[发明专利]一种基于QMIX算法的多智能体协作的分层式网络渗透方法

权利要求书

1.一种基于QMIX算法的多智能体协作分层网络渗透方法，包括如下步骤：

S1、对目标网络进行子网划分；

S2、根据步骤S1的方法对目标网络进行子网划分之后，得到划分为不同区域的子网域，在基于分层强化学习的攻击路径发现的上层任务中，在各自的子网域分别放置一个智能体进行端口扫描工作，寻找到目标网络中的敏感主机并进行主机之间渗透的攻击规划；

S3、选择好下一步攻击的目标主机并完成路径规划之后，在下层单主机的攻击规划任务中，提取目标主机的状态信息，继续基于QMIX算法框架选择一系列攻击动作，完成单主机渗透。

2.如权利要求1所述的一种基于QMIX算法的多智能体协作分层网络渗透方法，其特征在于：步骤S1包括：

S11、子网划分就是把单一的IP网络划分为几个物理网络；划分子网可以提高IP地址的利用率，提高网络的安全性，易于管理网络等；划分子网纯属一个单位内部的事情；单位对外仍然表现为没有划分子网的网络；从主机号借用若干个位作为子网号subnet-id，而主机号host-id也就相应减少了若干个位，即：IP地址：：＝{网络号，子网号，主机号}；

S12、采用子网掩码来分离网络ID和主机ID来识别不同的子网；子网掩码的功能是指定网络ID和主机ID的分界；子网掩码格式设置：子网掩码和IP地址一样长，都是32bit，网络号(包括子网号)部分全设为“1”，主机号部分设为“0”；以A、B、C这3类IP地址的默认子网掩码分别是A类：255.0.0.0；B类：255.255.0.0；C类：255.255.255.0；

S13、确定所需的子网数目；

S14、确定每个子网的最大主机数；

S15、根据子网数目和最大主机数确定向主机号借多少位划分子网，假设借N位则对于A、B、C这3类IP地址有以下计算公式可以确定N的值：

C类地址：2^N-2≥X且2^8-N-2≥Y；

B类地址：2^N-2≥X且2^16-N-2≥Y；

A类地址：2^N-2≥X且2^24-N-2≥Y；

S15、定义一个能满足上述要求的子网掩码，确定每个子网的网络ID和每个子网上所能使用的主机ID范围。

3.如权利要求1所述的一种基于QMIX算法的多智能体协作分层网络渗透方法，其特征在于：步骤S2具体包括：

S21、获取整个目标网络的环境S，不同区域智能体的观察值O，每个智能体的动作a，奖励R；

S22、每个智能体通过攻击者RNN网络获取每个动作的Q值，RNN网络中有GRU循环层，需要记录每个智能体的隐藏层，作为下次GRU隐藏的输入；

S23、为了确保在联合动作价值函数Q_tot上执行全局argmax操作，即最快的找到目标主机和完成路径规划，与每个价值函数Q_a上执行一组单独的argmax操作产生相同的结果：

S24、每个子网域的智能体与其Q_a相关的贪婪动作来参与分散动作的执行；其单调性可以通过限制Q_tot和每个攻击者的关系来实现：

S25、将所获得的历史经验存入经验池D₁中；经验池中存储的历史经验为五元组信息(s_t，g_t，F_t～t+N，s_t+N，v_t)，s_t为当前状态，g_t为当前时刻输出的目标主机，F_t～t+N为接下来N个时刻智能体获得的奖励总和，s_t+N为N个时刻后的状态，v_t为当前时刻是否已经攻陷所有敏感主机；损失函数为：

其中，b是从经验回放池采样的过渡的批量大小，i表示训练迭代次数，目标函数θ_1,i是目标网络的参数。

4.如权利要求1所述的一种基于QMIX算法的多智能体协作分层网络渗透方法，其特征在于：步骤S3具体包括：

S31、根据敏感主机的状态信息，基于下表来选择攻击者的动作：

S32、同S22步骤，通过攻击者RNN网络提取每个智能体所做每个动作的Q值，再通过混合网络获得Q_tot值；

S33、基于QMIX算法，将经验存储在经验池D₂中，经验池中存储的历史经验为五元组信息((s_t,g_t),a_t,r_t,(s_t+1,g_t),v_t)，s_t为当前状态，g_t为当前需要完成的子目标，a_t为执行的动作，r_t为执行动作a_t到达下一状态获得的下层奖励，s_t+1为执行动作a_t后的下一个状态，v_t为是否已经攻陷目标主机；损失函数为：

目标函数：

S34、通过梯度的前向和反向传播调整模型的结构参数，直到损失函数值收敛，最终成功对目标网络的敏感主机成功渗透并获取主机的受控状态。