[发明专利]基于深度强化学习的DIDS任务调度优化方法

说明书

本发明公开了一种基于深度强化学习的DIDS任务调度优化方法，包括如下步骤：对检测引擎进行性能等级评估，对所检测的数据包进行负载评估，用马尔科夫决策过程建模，建立深度循环神经网络模型，调度器进行决策并确定如何分配检测引擎去检测数据包。对于检测引擎数量固定的分布式入侵检测系统，本发明提出的任务调度算法可以做出最优决策使系统整体负载降低，同时还能解决状态空间和动作空间过大造成内存空间占用太大的问题。

技术领域

本发明属于网络安全技术领域，涉及一种基于深度强化学习的DIDS任务调度优化方法。

背景技术

边缘计算作为一种新的计算模式，在快速发展的同时也面临新的网络安全挑战。在节点性能有限的边缘计算环境下进行分布式入侵检测系统(DIDS)的任务分配，是一种典型的资源受限任务调度问题。由于边缘节点性能受限，所以云计算中依赖高性能设备的DIDS(DIDS，分布式入侵检测系统)需要向低负载化改进，才能在网络边缘就近检测数据。在现有技术中，当使用强化学习解决以上问题时，如果状态空间和动作空间过大或高维连续，将会带来内存空间占用太大等诸多问题。

发明内容

本发明的目的是提供一种基于深度强化学习的DIDS任务调度优化方法，该方法能够在边缘计算环境下根据网络变化动态调节任务调度策略，使DIDS的负载有效降低，同时还能够解决现有技术中状态空间和动作空间过大造成内存空间占用太大的问题。

本发明所采用的技术方案是，基于深度强化学习的DIDS任务调度优化方法，具体包括如下步骤：

步骤1，对DIDS中的各检测引擎进行性能评估，收集各检测引擎对测试流量的数据量da、检测时间dt、内存占用mu和检测引擎i的CPU频率Fi信息，并定义检测引擎的性能指标pi计算模型如下：

对所有检测引擎测试后，根据性能高低各检测引擎分成不同等级d,d＝1,…,D，d值相差在10％以内的，即归为同一等级；

步骤2，当一个数据包到来需要检测时,调度器首先获取数据包长度，对数据包产生的负载进行评估；

步骤3，利用马尔科夫决策过程对DIDS任务调度进行建模，确定实现系统最小负载的最优策略；

步骤4，建立深度循环神经网络模型，基于步骤3所得的最优策略模拟状态空间和动作空间；

步骤5，基于步骤4所得结果，调度器向检测引擎分配数据包；

步骤6，当一个需要检测的数据包到来时，若分布式入侵检测系统中没有空闲的检测引擎，调度器将记录这一检测数据包放入等待队列,一旦等待队列满额，这个新到的数据包将被放弃检测。

本发明的特点还在于：

步骤2中对数据包产生的负载进行评估的方法为：通过数据包长度与以太网最大传输单元1500Bytes的比值，得出该数据包所产生的负载等级k,k＝1,…,K，k值相差在10％以内的，即归为同一等级。

步骤4的具体过程如下：

步骤4.1，建立深度循环神经网络模型；

步骤4.2，基于步骤4.1所得结果度量深度循环神经网络模型输出产生的误差；

步骤4.3，基于步骤4.2所得结果训练深度循环神经网络。

步骤4.1的具体过程为：

深度循环神经网络结构包括输入层、隐藏层和输出层；

隐藏层中包括信息记忆功能，对于某个具体的隐藏层，在t时刻，该隐藏层的状态s_t的计算公式为：