[发明专利]多源异构数据降噪分析处理方法

权利要求书

1.一种多源异构数据降噪分析处理方法，其特征在于包括如下步骤：

对工程数智化建设运维应用场景多源数据采用期望最大EM法对数据进行填充处理；

采用主成分分析PCA算法对填充处理后的数据进行特征降维处理；

采用余弦相似度作为欧氏距离的加权值，构造基于聚类算法FCM的数据去噪方法，对多源复杂属性噪声数据流进行降噪处理。

2.如权利要求1所述的多源异构数据降噪分析处理方法，其特征在于基于期望最大EM法的数据填充处理的方法包括如下步骤：

设已知观测数据X＝{x₁，x₂，...，x_n}，联合分布概率p(x，z|θ)，条件分布概率p(z|x，θ))，z为未知观测数据；

初始化模型参数θ的初值θ⁰；

E步：固定参数θ，优化参数Q；根据已知观测数据x和模型参数θ，求隐变量z条件概率分布期望；

Q_i(z⁽ⁱ⁾)＝P(z⁽ⁱ⁾|x⁽ⁱ⁾，θ^j)

M步：固定参数Q，优化参数θ。利用上一步已经求出z，进行极大似然估计，得到更优θ值；

θ^j+1＝arg max_θL(θ，θ^j)

不断进行E步和M步的迭代，直至收敛。

3.如权利要求1所述的多源异构数据降噪分析处理方法，其特征在于基于PCA算法的数据特征降维处理方法包括如下步骤：

初始化矩阵X_n×m，矩阵代表n个m维的数据属性，将数据进行去均值处理，必要时再进行归一化，即N_x～(0，1)；

求协方差矩阵，以及协方差矩阵特征值λ和特征向量u；

将特征向量按照对应特征值λ_i从大到小排列，计算方差贡献率依次计算累计方差贡献率是否超过预设限值，将符合条件前k个特征向量组成投影矩阵P；

Y＝PX就是降维到k维后的数据矩阵。

4.如权利要求1所述的多源异构数据降噪分析处理方法，其特征在于采用余弦相似度作为欧氏距离的加权值，构造基于聚类算法FCM的数据去噪方法具体包括如下步骤：

设聚类之后某一簇聚类中心为v_i，对于样本任意一点加权欧式距离表示为：

其中，为聚类中心v_i所在簇内的所有样本点，t为以v_i为聚类中心一簇内的样本数；

首先预设欧式距离阈值r，可取该簇内所有样本点到聚类中心的加权欧式距离的平均值l；在目标降噪数据完成聚类后，当d_v(x，v_i)＞r时，表示该样本点是噪声点并将其删除，反之则保留该样本点；

5.如权利要求4所述的多源异构数据降噪分析处理方法，其特征在于：采用肘部法则，计算聚类中心个数c的取值，其计算原理是代价函数，代价函数是类别畸变程度之和，每个类的畸变程度等于每个变量点到其类别中心的位置距离平方和；在选择类别数量上，肘部法则会把不同值的成本函数值画出来；随着值的增大，每个类包含的样本数会减少，于是样本离其重心会更近平均畸变程度会减小；随着值继续增大，平均畸变程度的改善效果会不断减低；值增大过程中，畸变程度的改善效果下降幅度最大的位置对应的值就是肘部。