[发明专利]基于深度强化学习的网络攻击检测方法

权利要求书

1.一种基于深度强化学习的网络攻击检测方法，其特征在于，步骤如下：

(1)特征选择智能体环境状态模型的构造；

环境状态模型即智能体所需要的环境，包括奖励函数的定义与交互反馈规则的设计，具体内容如下：

(1.1)首先使用U_t来代表第t时刻智能体获得的折扣未来累积奖励，然后考虑具体的应用背景；

折扣未来累积奖励U_t：智能体能感知环境的状态并根据环境提供的反馈信号r_t，通过学习选择动作，最大化折扣未来积累奖励；通过引入折扣因子γ来减小步骤之间的强关联性，将折扣未来累积奖励U_t作为折扣未来累积奖励，其表达式为：

其中，R_t是第t时刻智能体接受的反馈，γ∈[0,1]是折扣系数，用于提升即时奖励而不是延迟奖励；

当γ接近0时，表示更重视当下的回报；当γ接近1时，表示更重视未来的回报；

(1.2)在定义好奖励函数后，设计智能体Agent与环境的交互反馈规则，即奖励机制；

设计一种双奖励机制，考虑的评估指标包括检测结果的准确率accuracy、精确率precision、召回率recall以及模型的运行时间time，并设计如下的奖励公式：

其中，ω表示衡量对应评估指标的权重矩阵，用来衡量各评估指标的重要性、设置偏好程度以及优先级等；R表示奖励矩阵，每个评估指标对应一个奖励分量；r_a表示准确率的反馈，r_p表示精确率的反馈，r_r表示召回率的反馈，r_t表示运行时间的反馈；

在每一次迭代时，把新选择的特征添加到已选择的特征集，如果智能体使用新特征集训练出来的指标有所降低，那么就把新特征的reward设置为-100；如果各项指标有所提升，首先记录提升过后的各项检测指标对应的反馈，即准确率r_a、精确率r_p、召回率r_r、运行时间r_t，然后根据各项指标对应的权值计算新的reward；

(2)特征选择智能体价值函数的构造；

价值函数是奖励的期望，主要用于评价不同状态的好坏，指导智能体动作的选择，还用价值函数来评估智能体在某时间t状态s的好坏程度，具体内容如下：

(2.1)首先计算价值函数Q(s,a)，用于评估当前智能体从状态s开始，执行动作a且服从策略ε的期望返回，公式如下：

Q_π(s,a)＝E_π[U_t|S_t＝s,A_t＝a]

其中，S_t表示第t时刻智能体所处状态，A_t表示第t时刻智能体执行的动作，E_π智能体的训练策略；

在获取到当前状态s对应的所有可能动作a的价值，结合训练策略，智能体需要选择最优动作，即基于策略π，在所有的Q(s,a)中取最大值，这便是动作a_t的决策过程，公式如下：

其中，Q^*(s_t,a_t)是第t个时间步所有动作的最大价值；

(2.2)经过价值函数的构造，智能体根据既定的策略，对当前状态所有可能的动作进行有规律的选取；因此，对策略进行定义，具体内容如下：

选用贪心策略，其表示在智能体做决策时，存在∈的概率随机选择未知的一个动作，0∈1，剩下的1-∈的概率选择已有动作中价值最大的动作；当智能体选取某特征并最终将其加入到最优特征集后，需要将其从动作空间中移除或重置其Q值，也就是说，将选取该特征的动作对应的Q值尽可能大的降低，保证该特征在后续的训练中尽可能不会被选择。