[发明专利]结合K-means和FCM聚类的流量检测方法及电子装置

说明书

本发明提供一种结合K‑means和FCM聚类的流量检测方法及电子装置，包括通过已标注流量数据集T_q及标注种类确定的k_q个聚类c_q，i及各聚类c_q，i的簇心，对包含已标注流量数据集T_q与未标注流量数据集W_q的数据集D进行聚类，得到聚类c′_q，i；若聚类c′_q，i的离群点数据满足一设定规则，得到k′_q个聚类C_q，j；依据聚类c_q，j，计算数据集D中各数据的标注结果，获取已标注流量数据集T_q+1与未标注流量数据集W_q+1；依据未标注流量数据集W₁在聚类c_Q，j中各数据的标注种类K_Q，对未标注流量数据集W₁进行分类。本发明实现了K‑means算法中k值的自我调节，更容易达到全局最优；利用自训练模式，避免错误数据在后续的迭代中累积；实现了标记数据集和未标记数据集的动态变化，具有实时性和灵活性。

技术领域

本发明涉及计算机领域，尤其涉及一种结合K-means和FCM聚类的流量检测方法及电子装置。

背景技术

互联网的飞速发展推动了全球化的生产和生活方式的深刻变革，但同时也带来巨大的挑战。为了满足互联网用户的多样化需求，互联网中各种新型应用层出不穷，这些新型应用在扩大了互联网的应用规模，提供了更丰富的服务之余，其采用的应用协议特征也有别于传统的应用类型，变得更加复杂和多样化，给网络流量的管理和规划带来了极大的挑战。此外，互联网中流量种类的不断增加以及流量特征的迅速更新，使得网络安全问题也面临着日益严峻的挑战。目前，各种网络攻击泛滥、手段丰富，且规避检测方式较为灵活，如何有效的识别和控制这些异常流量，也是网络流量管理控制的重难点之一。提取网络流量的特征，实施有效的差异化管理，自适应匹配不同的应用协议，是有效解决网络监管中存在的种种问题的一个方向。

传统的网络入侵流量检测方法是基于误用的流量检测，该方法是采用设置阈值、特征检测和统计等途径实现的。基于固定阈值的检测方法是网络管理员依据所在的网络环境的管理经验，设置一个固定的阈值，当检测指标超过这个阈值时，则判断为异常流量。在不同的网络环境中设置的阈值有所不同，这种方法简单、成本低，但是难以适配当下动态和复杂的网络环境。基于特征的方法虽然能通过实时更新特征库来动态检测网络的入侵流量，但无法检测出网络中未知的和最新出现的异常行为。基于统计的方法是在已有的历史数据上通过分析处理得到一个正常流量的标准，再依据标准对新的数据进行判断，但是一旦历史数据过期，对实时网络的判断就会出现巨大误差。

相对于基于误用的流量检测方法是基于异常流量的检测方法，该方法假设网络入侵和滥用行为有别于一般正常用户或者系统的行为，在检测过程中先在用户、系统或者网络正常操作的一段时间内收集事件和行为的信息，再根据这些信息建立正常或者有效行为的模式，然后利用某种度量计算事件行为偏离正常行为的程度，如果偏离程度超过一定的范围，则报警异常。基于异常流量检测的本质就是查找一些被认为是异常的行为，它可发现新的攻击模式，甚至可用于产生误用检测的攻击特征库，而这种技术存在的最明显缺点是:①误警率远高于基于误用的检测方法；②需要大量良好的训练数据，这在当前的互联网环境下是很难实现的。实际环境中，可用的训练数据的数量非常少，如将较少的训练数据直接作为训练集使用会产生较大的误差。