[发明专利]基于深度强化学习的网络攻击检测方法

说明书

一种基于深度强化学习的网络攻击检测方法。对原始数据集进行预处理，再对Agent进行构造，包括初始化Agent所处环境、规定智能体与环境的交互方式、训练策略和价值函数。根据状态对特征进行选择，将选择好的特征输入到检测模型中进行预测。将检测结果作为反馈回传给智能体Agent训练模块，并计算动作的Q(s，a)，刷新Q表。重复直到最优特征子集中包含的特征数达到最大，即模型收敛；或训练步长完成，生成最优特征子集。针对新型特征设计的处理方法能够反映出新型特征对于入侵攻击检测的重要性，若重要则会部署新型特征的专属最优特征子集，这样一来体现了最优特征子集的灵活性，可针对不同的攻击情形自发的采取相应措施。

技术领域

本发明涉及一种基于深度强化学习的网络攻击检测方法，属于信息安全技术领域。

背景技术

目前关于网络攻击检测方法的研究已经数不胜数，但多数的研究方法并没有重视对原始数据的特征处理，一味的强调检测算法的改进。本着“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”的原则，本发明针对原始数据的特征处理问题展开研究。特征选择(Feature Selection)方法是针对原始数据和特征，通过剔除不相关、冗余、异常特征以及意义渺小的特征，提炼出最优特征子集，进一步提高模型训练精度，减少运行时间与资源消耗，属于一种搜索寻优的问题。目前传统的特征选择方法主要分为三大类，如Filter过滤法、Wrapper包装法、Embedded嵌入法，具体来说包括皮尔逊(Pearson)相关系数、卡方校验、距离测量、方差选择等方法，主要以数学特征为基础，结合搜索技术、统计学等多学科实现。虽然取得了可观的研究成果，但也存在着相应的缺点，比如计算过程相对复杂，数据特征会由于维度的增加呈指数级趋势增长；不能适应数据的发展变化，属于静态方法。因此，在数据特征动态发展变化的时代，应灵活选取最优特征集，此外，一经确定的最优特征集也不应该是一尘不变的，而是应该着眼于现实情况提出不同的方法来对此进行优化与更新。

目前正处于大数据时代，面对海量数据、高维数据，传统的特征选择方法已很难满足现实需求。而随着数据挖掘、机器学习等技术的发展，对特征的选取标准已不单单停留在通过数学方式计算各个数据特征之间的相关性。与此同时，面对动态变化的网络环境，越来越多的具备新型特征的入侵攻击开始出现，攻击者可以从新型特征入手，设计攻击手段来绕过目前已有的防御检测措施，从而造成严重的信息泄露。例如车载网络、卫星通信网络等拓扑结构动态变化的网络，再加上大规模的训练数据，可能会出现最优特征集的搜索过程异常缓慢，完全跟不上环境变化的速度。此外，若不考虑新型特征，就算根据已有特征得到了最优特征集，那么攻击者依然可以利用新型特征设计入侵攻击，进而获取敏感数据。