[发明专利]一种流量数据的聚类处理方法、装置及电子设备

说明书

本发明主要涉及大数据技术领域，揭示了一种流量数据的聚类处理方法、装置及电子设备，包括：在预置特征库中选取N个特征；基于流量数据的所选取的特征对应的特征值，得到流量数据的特征向量；根据流量数据的特征向量，将所有流量数据聚类成M个簇；确定在各种M和N取值的组合下流量数据分成的簇的簇错误数总和，簇错误数总和是分成的每个簇的错误数相加的结果，每个簇的错误数是指该簇中白数据的数量和黑数据的数量中较少的一个数量；将最小的簇错误数总和所对应的特征个数和簇个数，作为流量数据聚类时选取的目标特征数和目标簇个数，从而利用聚类算法对大量流量数据进行聚类处理，得以满足对于群体的流量数据整体分析的需求。

技术领域

本发明涉及大数据技术领域，特别涉及一种流量数据的聚类处理方法、装置及电子设备。

背景技术

目前，随着互联网用户的日益增多，互联网领域正面临着大流量数据的挑战。大流量数据中难免会出现异常流量，这些异常流量会给互联网带来巨大的冲击与损失，例如，黑色产业形成的木马播种、流量交易和虚拟财产套现等诸多黑色产业链都会产生大量的异常流量。

在现有技术的实现中，流量异常的识别一般是通过采集用户行为埋点和sdk数据来确定路径重复度、设备前后端登录埋点占比、ip访问账号数、ip访问次数、周期内手机号段用户登录均值和方差等特征，根据每一条流量数据的这些特征，确定该流量数据异常的概率。

现有技术的缺陷在于，黑色产业往往表现为群体的流量数据出现异常，而现有技术对于流量异常的识别是针对每一条流量数据孤立确定的，无法满足对于群体的流量数据整体分析的需求。

发明内容

为了解决相关技术中存在的无法满足对于群体的流量数据整体分析的需求，本发明提供了一种流量数据的聚类处理方法、装置及电子设备。

一种流量数据的聚类处理方法，所述流量数据包括白数据和黑数据，所述白数据是从确定为白用户的用户的数据流量中抽取的流量数据，所述黑数据是从确定为黑用户的用户的数据流量中抽取的流量数据，所述白用户是确定为不会发出异常流量数据的用户，所述黑用户是确定为会发出异常流量数据的用户，所述方法包括：

在预置特征库中选取N个特征，N为正整数；

基于流量数据的所选取的特征对应的特征值，得到所述流量数据的特征向量；所述特征向量包括所述流量数据的所述N个特征各自对应的特征值；其中，一个所述特征对应一个所述特征值；

根据所述流量数据的特征向量，将所有所述流量数据聚类成M个簇，M为大于等于2的正整数；

确定在各种M和N取值的组合下所述流量数据分成的簇的簇错误数总和，所述簇错误数总和是分成的每个簇的错误数相加的结果，每个簇的错误数是指该簇中白数据的数量和黑数据的数量中较少的一个数量；

将最小的簇错误数总和所对应的特征个数和簇个数，作为流量数据聚类时选取的目标特征数和目标簇个数。

一种流量数据的聚类处理装置，所述流量数据包括白数据和黑数据，所述白数据是从确定为白用户的用户的数据流量中抽取的流量数据，所述黑数据是从确定为黑用户的用户的数据流量中抽取的流量数据，所述白用户是确定为不会发出异常流量数据的用户，所述黑用户是确定为会发出异常流量数据的用户，所述装置包括：

选取单元，用于在预置特征库中选取N个特征，N为正整数；

获取单元，用于基于流量数据的所选取的特征对应的特征值，得到所述流量数据的特征向量；所述特征向量包括所述流量数据的所述N个特征各自对应的特征值；其中，一个所述特征对应一个所述特征值；

聚类单元，用于根据所述流量数据的特征向量，将所有所述流量数据聚类成M个簇，M为大于等于2的正整数；