[发明专利]一种基于大数据技术的维度约简方法及装置

说明书

本发明涉及一种基于大数据技术的维度约简方法及装置，包括：将负荷数据聚类簇分为待支持聚集簇、支持聚集簇和输入样本数据；根据所述待支持聚集簇中负荷数据与所述支持聚集簇间支持率函数值确定所述待支持聚集簇中负荷数据支持数；根据所述待支持聚集簇中负荷数据支持数确定待支持数据簇中负荷数据的支持率；根据待支持数据簇中负荷数据的支持率将所述待支持数据簇中负荷数据加入至所述输入样本数据；对所述输入样本数据进行降维，获取降维后的输入样本数据；本发明提供的技术方案，对高维数据进行有效的维数约简，提高对负荷数据的分类处理性能，实现数据降维的同时剔除噪声点和异常数据点，为解决输电线路负荷数据的问题提供了重要依据。

技术领域

本发明涉及分布式计算软件领域，具体涉及一种基于大数据技术的维度约简方法及装置。

背景技术

随着大数据时代的到来，电力系统中的信息和数据量急剧增大，当数据量呈几何式增长时，数据的维数越来越高，数据信息更为充实，同时也给数据挖掘算法带来了诸多难题。高维性的数据增加了算法的时间复杂度和空间复杂度，同时降低了算法的求解精度，最终影响决策分析的准确性。如何从杂乱的、强干扰的海量的数据中挖掘出电力系统中有用的数据信息或者发现潜在的规则是当前面临的巨大挑战，因此维度约简成为了大数据技术分析领域的一个研究热点。

维度约简是在构造模型中只关注那些任务目标相关的属性特征，忽略那些冗余或者不相关的特征，从而达到降低算法的时间和空间复杂度，提高算法计算效率的目的。目前在处理数据降维上，涌现出很多相关算法，主要有主成分分析法、线性判别分析法、独立成分分析法、局部特征分析法、基于核函数的主成分分析法等。在选维方面主要有支持向量机法、遗传算法、粒子群算法等，以上的这些相关算法在精度和效率上得到了一些改善，但是和理想的维度约简处理还存在一定的差距，需要进一步完善。对高维数据进行有效的维数约简，在提高数据分类处理、机器学习性能以及解决类似问题方面具有重要意义。

发明内容

本发明提供一种基于大数据技术的维度约简方法及装置，其目的是对高维数据进行有效的维数约简，提高对负荷数据的分类处理性能，实现数据降维的同时剔除噪声点和异常数据点，为解决输电线路负荷数据的问题提供了重要依据。

本发明的目的是采用下述技术方案实现的：

一种基于大数据技术的维度约简方法，其改进之处在于，所述方法包括：

对配电网中负荷数据进行聚类，获取负荷数据聚类簇；

根据所述负荷数据聚类簇的密度将所述负荷数据聚类簇分为待支持聚集簇、支持聚集簇和输入样本数据；

根据所述待支持聚集簇中负荷数据与所述支持聚集簇间支持率函数值确定待支持数据簇中负荷数据的支持率；

根据待支持数据簇中负荷数据的支持率将所述待支持数据簇中负荷数据加入至所述输入样本数据；

对所述输入样本数据进行降维，获取降维后的输入样本数据。

优选的，所述对配电网中负荷数据进行聚类，获取负荷数据聚类簇，包括：

根据配电网中各负荷数据间的欧几里得距离对所述配电网中负荷数据进行聚类，获取负荷数据聚类簇，其中，每个负荷数据聚类簇中负荷数据为M个。

优选的，所述根据所述负荷数据聚类簇的密度将所述负荷数据聚类簇分为待支持聚集簇、支持聚集簇和输入样本数据，包括：

当ρ＜0.4时，则将该负荷数据聚类簇作为待支持聚集簇；

当ρ＞2时，则将该负荷数据聚类簇作为支持聚集簇；

当ρ∈[0.4,2]时，则将该负荷数据聚类簇作为输入样本数据；

所述ρ为负荷数据聚类簇的密度。