[发明专利]基于MapReduce的PCA降维处理流程

权利要求书

1.主成分分析(PCA)算法是经典的线性降维技术，算法简单，具有无线性误差、无参数限制等优点，适用于线性数据，但内存消耗大，计算复杂度高。当PCA用于高维大数据的降维时，存在内存消耗巨大、处理时间很长，计算特征之间的协方差矩阵存在极大困难。本发明借助于Hadoop分布式并行计算平台，其分布式文件系统HDFS将数据“分块”存储和MapReduce计算框架“并行处理”数据的思想，设计实现了基于MapReduce的PCA降维处理流程，具体如下：

1)从分布式文件系统HDFS读取输入数据。

2)Map任务负责对每个数据分片(Split)进行处理，读取整个分片的数据之后，转换为键值对，传递给map()函数。map()函数的功能包括：

A)求解每个特征的均值、中心化数据矩阵；

B)求解中心化后的矩阵的协方差矩阵；

C)求解协方差矩阵的特征值及特征向量；

D)对特征值排序、进而求得最大的K个特征值对应的K个特征向量，以特征向量的转置作为变换基；

E)计算原始数据的低维嵌入，用抽取的特征向量矩阵的转置与原始数据矩阵相乘，得到分块的主成分，组成键值对，写入中间结果；

3)Reduce任务负责汇总结果，主要功能如下：

A)reduce()函数接收中间结果，即Map阶段得到的各分块的主成分；

B)合并分块结果，得到最终降维的主成分，写入HDFS。

2.综合权利要求1的各项说明，基于MapReduce的PCA算法用于超高维大数据的降维处理流程具有以下特点：

1)存入HDFS的输入数据为矩阵形式的高维数据；

2)引用矩阵包Jama.Matrix来简化中间计算过程中对矩阵的处理。