[发明专利]多源异构数据降噪分析处理方法

说明书

本发明公开了一种多源异构数据降噪分析处理方法，涉及数据处理方法技术领域。所述方法包括如下步骤：对工程数智化建设运维应用场景多源数据采用期望最大EM法对数据进行填充处理；采用主成分分析PCA算法对填充处理后的数据进行特征降维处理；采用余弦相似度作为欧氏距离的加权值，构造基于聚类算法FCM的数据去噪方法，对多源复杂属性噪声数据流进行降噪处理。所述方法能够提高工程数智化复杂多维数据质量，为后期工程数据挖掘、融合分析及方案决策提供的有效、可靠、关键的支撑作用，可广泛应用于工程行业模式识别、分类、数据挖掘等领域。

技术领域

本发明涉及数据处理方法技术领域，尤其涉及一种多源异构数据降噪分析处理方法。

背景技术

随着智能传感、大数据、云计算、人工智能等先进技术快速发展，在工程建设运维领域，数字化建设及升级进程也快速推进，大量多源异构复杂数据涌入数据库，直接从各数据源收集到的信息在不同程度上会存在一些问题，比如说工程数据的完整性、唯一性、一致性等，工程数据的维度不统一、有噪声信息、字段冗余或有多指标数值等问题。这些均会造成后续数据挖掘分析处理操作代价较高、费时费力、决策不准确等问题，因而对多源复杂数据流进行前期预处理及降噪处理是数据分析必不可少且很重要环节，为后续的数据挖掘分析及工程方案决策提供重要的技术保障。

发明内容

本发明所要解决的技术问题是如何提供一种能够有效提高数据有效性，为后期工程数据挖掘、融合分析及方案决策提供有效支撑的多源异构数据降噪分析处理方法。

为解决上述技术问题，本发明所采取的技术方案是：一种多源异构数据降噪分析处理方法，其特征在于包括如下步骤：

对工程数智化建设运维应用场景多源数据采用期望最大EM法对数据进行填充处理；

采用主成分分析PCA算法对填充处理后的数据进行特征降维处理；

采用余弦相似度作为欧氏距离的加权值，构造基于聚类算法FCM的数据去噪方法，对多源复杂属性噪声数据流进行降噪处理。

进一步的技术方案在于，基于期望最大EM法的数据填充处理的方法包括如下步骤：

设已知观测数据X＝{x₁,x₂,…,x_n}，联合分布概率p(x,z|θ)，条件分布概率p(z|x,θ))，z为未知观测数据；

初始化模型参数θ的初值θ⁰；

E步：固定参数θ，优化参数Q；根据已知观测数据x和模型参数θ，求隐变量z条件概率分布期望；

Q_i(z⁽ⁱ⁾)＝P(z⁽ⁱ⁾|x⁽ⁱ⁾,θ^j)

M步：固定参数Q，优化参数θ。利用上一步已经求出z，进行极大似然估计，得到更优θ值；

θ^j+1＝arg max_θL(θ,θ^j)

不断进行E步和M步的迭代，直至收敛。

进一步的技术方案在于，基于PCA算法的数据特征降维处理方法包括如下步骤：

初始化矩阵X_n×m，矩阵代表n个m维的数据属性，将数据进行去均值处理，必要时再进行归一化，即N_x～(0,1)；

求协方差矩阵，以及协方差矩阵特征值λ和特征向量u；

将特征向量按照对应特征值λ_i从大到小排列，计算方差贡献率依次计算累计方差贡献率是否超过预设限值，将符合条件前k个特征向量组成投影矩阵P；