[发明专利]一种网络异常数据的关联性分析方法

权利要求书

1.一种网络异常数据的关联性分析方法，其特征在于：包括以下步骤：

S1：对电力通信网络的异常数据进行采集；

S2：对采集到的异常数据进行预处理，得到预处理后的异常数据；

S3：根据预处理后的异常数据，根据主成分分析计算权值；

S4：计算异常数据的相似度，生成事务数据库；

S5：根据生成的事务数据库，基于Apriori算法完成关联性分析；

其中，所述步骤S3包括：

S31：数据标准化处理：数据的标准化是将数据按比例缩放，令数据落入一个小的特定区间，主要用于去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权；这里采用极值标准化法，即0-1normalization，是对原始数据的线性变换，转换函数具体表达式如下：

其中，X_max为样本数据的最大值，X_min为样本数据的最小值，X为采集到的异常数据；X^*为转换后的异常数据；

S32：对X^*进行主成成分分析，其计算步骤如下：

计算相关系数矩阵R，计算公式为：

其中，r_ij(i,j＝1,2,...,p)为原变量x_i与x_j的相关系数，r_ij＝r_ji，其计算公式为

其中，表示X矩阵行和列上的平均值，由此可以得到A、B₁、B₂、C₁、C₂、D₁、D₂的相关系数矩阵；

计算特征值与特征向量，解特征值方程：

|λI-R|＝0

用雅可比法(Jacobi)求出特征值，并使其按大小顺序排列λ₁≥λ₂≥...≥λ_p≥0，分别求出对应与特征值λ_i的特征向量e_j(i＝1,2,...,p)，要求||e_i||＝1，即其中e_ij表示向量e_i的第j个分量；

计算主成分贡献率及累计贡献率，计算公式为：

贡献率：

累计贡献率：

其中，λ_i,λ_k非负特征向量，i＝1,2,...,p，p表示非负特征根的个数；

计算主成分负载l_ij，计算公式为：

其中，e_i,j为单位向量分量，根据l_ij可以得到成分矩阵Z，各个主成分得分如下：

确定主成分分析的权重：用主成分分析确定权重，指标权重等于以主成分的方差贡献率为权重，对该指标在各主成分线性组合中的系数的加权平均归一化，因此，要确定指标权重需要三个步骤：

计算主成分线性组合中的系数：根据主成分荷载得到的成份矩阵中的载荷数/特征值的开方，即得到了主成分线性组合的系数，其中，主成分的个数由各个主成分得分具体分析得到，设为n(n≤7)，即得到了n组数据A、B₁、B₂、C₁、C₂、D₁、D₂的线性组合系数F，记为

其中，x₁,x₂,...,x₇对应于A、B₁、B₂、C₁、C₂、D₁、D₂；

计算主成分的方差贡献率，方差贡献率越大，则该主成分的重要性就越强，因此，将方差贡献率看做成不同主成分的权重，将原有数据用n个主成分代替，根据主成分在主成分方差贡献率中的比重对线性组合中的系数做加权平均，

F＝c₁F₁+c₂F₂+...c_nF_n

其中，c₁,c₂,...,c_n为F₁,F₂,...,F_n占方差贡献率的比例，

结合主成分线性组合中的系数，得到：

F＝w₁x₁+w₂x₂+...+w₇x₇

其中，w₁,w₂,...,w₇即为权重，并将w₁,w₂,...,w₇进行归一化处理；

在利用主成分分析的方法确定权重的同时，设置数据变量的权重阈值，为0.05，当数据变量的权重低于权重阈值时，认为该数据变量与异常流量数据分析关联度低，则删除此数据变量；

所述步骤S4包括以下步骤：

计算异常流量数据间的相似度：

时间信息的相似度δ₁：

其中，t₁，t₂是异常流量A、B检测时刻，T_win是基准设计时间；

主机相关信息的相似度δ₂：

其中，S₁,S₂为异常流量A、B主机重要等级，N_S为重要等级数；

主机安全防等级的相似度δ₃：

其中，C₁,C₂为异常流量A、B主机防护等级，N_C为总防护等级数；

运行服务总数的相似度δ₄：

其中，I₁,I₂为异常流量A、B主机上运行的服务总数，N_I为主机上运行服务的总重要等级数；

运行服务重要性等级的相似度δ₅：

其中，l₁,l₂为异常流量A、B主机上运行的服务的重要等级，N_l为主机上运行服务的总重要等级数；

IP相关信息的相似度δ₆：设两异常流量设备A、B的IP地址二进制数分别为IP1和IP2，对IP地址取异或运算得到diff＝IP1 XOR IP2，从diff左边开始扫描，遇到1停止，定义变量p为扫描中遇到0的个数，则IP相似度函数为：

根据所得到的相似度函数分别计算源IP地址δ₆；

计算异常流量的相似度η：

得到每条异常流量之间的相似度，从而以对异常流量数据中变量的操作，转化到了对每条异常流量之间的操作；

根据相似度生成事务型数据库：

设置相似度阈值：根据计算得到的异常流量间的相似度，设置相似度阈值；根据实验得到的结果进行分析，设置相似度阈值分别为最大阈值0.5，最小阈值0.1和丢弃阈值0.05；

根据相似度阈值生成事务型数据库D：其中当相似度低于0.05时，认为异常流量之间的相似度过低，不存在可能的关联度；当两者相似度高于0.5时，认为关联度较高，可以作为2个异常流量的事务数据项；在得到相似度高于0.5事务数据项的基础上，如果这两者与另外一个异常流量的相似度都高于0.48，则会生成3个异常流量的事务数据项，以此类推，在事务数据项中每增加一个异常流量，所要求的相似度会对应减少0.02，但当相似度低于0.1时事务数据项不能再增加异常流量。