[发明专利]一种基于自动编码器网络的异常流量检测方法

摘要

一种基于自动编码器网络的异常流量检测方法，属于计算机网络和机器学习的交叉领域。本发明首先通过流量数据获取模块捕获数据；其次，通过数据预处理模块对数据进行预处理；再次，通过改进的多自动编码器网络输出流量数据的哈希编码；最后，采用基于数据分布比例的检测模块对得到的哈希编码进行异常检测多分类。本发明结合了神经网络和哈希编码的优势，利用哈希编码技术不仅降低了消耗的的存储空间和计算资源，还将只能应用于二分类入侵检测场景的KitNET自动编码器网络改进为多分类入侵检测方法，并设计了基于数据分布比例的流量哈希编码分类方法。本方法能够改善异常检测技术的运行速率及可扩展性，更适用解决当前新攻击类型层出不穷的异常检测问题。

主权项

1.一种基于自动编码器网络的异常流量检测方法，其特征在于，所述的异常流量检测方法基于以下四个模块实现：流量数据获取模块、数据预处理模块、基于自动编码器网络的哈希编码模块、异常检测模块，该方法结合神经网络和哈希编码的优势，通过改进的多自动编码器网络模型直接输出流量数据的哈希编码，使用哈希编码技术降低时间复杂度和空间复杂度，并且将只能用于二分类检测的KitNET算法应用于多分类异常检测的应用场景中；首先，通过流量数据获取模块捕获互联网中正常流量数据和异常数据；其次，通过数据预处理模块对数据进行合理的预处理，解决采集的原始数据出现的不一致等缺陷；再次，通过基于自动编码器网络的哈希编码模块来训练流量数据集，可以有效地追踪每个网络信道的模式，在执行阶段可以直接输出数据集的哈希编码；最后，采用基于数据比例的检测模块对得到的哈希编码实现多分类，可以获得对流量数据的分类结果并对该入侵检测方法性能进行评估；所述的流量数据获取模块，该模块中需要采集各种不同来源的数据，数据的主要来源包括网络连接信息，基于时间的流量信息，基于主机的流量信息，日志信息；所述的数据预处理模块，该模块中需要对数据进行预处理，使数据一致；所述的基于自动编码器网络的哈希编码模块，该模块将无监督轻量级的异常检测KitNET算法进行改进，即将原有网络结构的输出层自动编码器的隐藏层神经元个数进行改动，让其与哈希编码的位数一致，用于提取特征并将其进行哈希编码，使该模块的输出直接为数据的哈希编码；所述的异常检测模块，需要对前面模块中得到的数据流量的哈希编码进行分类，在该模块中，采用基于哈明半径r的近似最近邻查找方法和基于数据分布比例的KNN分类方法来确定入侵数据的类别，实现异常检测多分类。