[发明专利]基于深度强化学习的DIDS任务调度优化方法

权利要求书

1.基于深度强化学习的DIDS任务调度优化方法，其特征在于：具体包括如下步骤：

步骤1，对DIDS中的各检测引擎进行性能评估，收集各检测引擎对测试流量的数据量da、检测时间dt、内存占用mu和检测引擎i的CPU频率Fi信息，并定义检测引擎的性能指标pi计算模型如下：

对所有检测引擎测试后，根据性能高低各检测引擎分成不同等级d,d＝1,…,D，d值相差在10％以内的，即归为同一等级；

步骤2，当一个数据包到来需要检测时,调度器首先获取数据包长度，对数据包产生的负载进行评估；

步骤3，利用马尔科夫决策过程对DIDS任务调度进行建模，确定实现系统最小负载的最优策略；

步骤4，建立深度循环神经网络模型，基于步骤3所得的最优策略模拟状态空间和动作空间；

步骤5，基于步骤4所得结果，调度器向检测引擎分配数据包；

步骤6，当一个需要检测的数据包到来时，若分布式入侵检测系统中没有空闲的检测引擎，调度器将记录这一检测数据包放入等待队列,一旦等待队列满额，这个新到的数据包将被放弃检测。

2.根据权利要求1所述的基于深度强化学习的DIDS任务调度优化方法，其特征在于：所述步骤2中对数据包产生的负载进行评估的方法为：通过数据包长度与以太网最大传输单元1500Bytes的比值，得出该数据包所产生的负载等级k,k＝1,…,K，k值相差在10％以内的，即归为同一等级。

3.根据权利要求2所述的基于深度强化学习的DIDS任务调度优化方法，其特征在于：所述步骤4的具体过程如下：

步骤4.1，建立深度循环神经网络模型；

步骤4.2，基于步骤4.1所得结果度量深度循环神经网络模型输出产生的误差；

步骤4.3，基于步骤4.2所得结果训练深度循环神经网络。

4.根据权利要求3所述的基于深度强化学习的DIDS任务调度优化方法，其特征在于：所述步骤4.1的具体过程为：

深度循环神经网络结构包括输入层、隐藏层和输出层；

隐藏层中包括信息记忆功能，对于某个具体的隐藏层，在t时刻，该隐藏层的状态s_t的计算公式为：

s_t＝tanh(Ux_t+Ws_t-1) (2)；

其中，s_t-1为t-1时刻的状态，W为状态s的权重参数矩阵，x_t为t时刻的输入，U为输入的序列信息的权重参数矩阵，而t时刻，状态s_t的输出为：

其中，softmax为输出的激活函数，V为输出的序列信息的权重参数矩阵。

5.根据权利要求4所述的基于深度强化学习的DIDS任务调度优化方法，其特征在于：所述步骤4.2的具体过程为：

使用交叉熵的损失函数来优化权重参数矩阵U、W和V；

设输出的时间序列总数为T，则深度循环神经网络模型的总损失函数L为：

其中，y_t为t时刻的真实值，为t时刻的预测值。

6.根据权利要求5所述的基于深度强化学习的DIDS任务调度优化方法，其特征在于：所述步骤4.3的具体过程为：

步骤4.3.1，根据公式s_t＝tanh(Ux_t+Ws_t-1)前向计算每个神经元的输出值s_t：

步骤4.3.2，向上和向前两个方向，反向计算每个神经元的误差项δ_j值，误差项δ_j值同时也是误差函数E对神经元的加权输入net_j的偏导数，任意时刻k的误差项δ_k具体计算公式如下：

其中，表示δ_k的行向量，diag[a]表示根据向量a创建一个对角矩阵，向量net_j表示神经元在j时刻的加权输入。

步骤4.3.3，计算每个权重的梯度；

具体为：首先计算误差函数E对权重矩阵W的梯度然后计算权重矩阵W在i时刻的梯度具体公式为：

其中，最终的梯度是各个时刻的梯度之和；

步骤4.3.4，用随机梯度下降算法更新权重。