[发明专利]基于MapReduce的PCA降维处理流程

摘要

本发明设计了一种基于MapReduce的PCA降维处理流程，是高维数据降维处理与分布式平台的结合的产物。本发明旨在解决传统PCA算法在实际的应用中存在的问题当数据维数(特征)比较高的时候，存在内存消耗巨大、处理时间很长，单台普通PC机在计算特征之间的协方差矩阵存在极大困难。本发明借助于Hadoop平台HDFS的文件分块的特征，对高维数据在维度上进行分块处理；借助于MapReduce的并行处理的特征，对按维度划分为多块的高维数据进行并行处理，发挥Hadoop集群中各节点的价值，节约处理时间。

主权项

主成分分析(PCA)算法是经典的线性降维技术，算法简单，具有无线性误差、无参数限制等优点，适用于线性数据，但内存消耗大，计算复杂度高。当PCA用于高维大数据的降维时，存在内存消耗巨大、处理时间很长，计算特征之间的协方差矩阵存在极大困难。本发明借助于Hadoop分布式并行计算平台，其分布式文件系统HDFS将数据“分块”存储和MapReduce计算框架“并行处理”数据的思想，设计实现了基于MapReduce的PCA降维处理流程，具体如下：1)从分布式文件系统HDFS读取输入数据。2)Map任务负责对每个数据分片(Split)进行处理，读取整个分片的数据之后，转换为键值对，传递给map()函数。map()函数的功能包括：A)求解每个特征的均值、中心化数据矩阵；B)求解中心化后的矩阵的协方差矩阵；C)求解协方差矩阵的特征值及特征向量；D)对特征值排序、进而求得最大的K个特征值对应的K个特征向量，以特征向量的转置作为变换基；E)计算原始数据的低维嵌入，用抽取的特征向量矩阵的转置与原始数据矩阵相乘，得到分块的主成分，组成键值对，写入中间结果；3)Reduce任务负责汇总结果，主要功能如下：A)reduce()函数接收中间结果，即Map阶段得到的各分块的主成分；B)合并分块结果，得到最终降维的主成分，写入HDFS。