[发明专利]一种基于并行化主成分分析算法的数据降维方法

权利要求书

1.一种基于并行化主成分分析算法的数据降维方法，包括步骤：

S1：把待降维的高维数据构造成样本数据矩阵D_n×m；

S2：计算所述样本数据矩阵D_n×m的协方差矩阵C_m×m；

S3：计算所述协方差矩阵C_m×m的m个特征值和对应的m个特征向量；

S4：根据所述特征值和特征向量确定主成分数量k；

S5：利用前k大特征值对应的特征向量构造变换矩阵TransMat，利用变换矩阵计算主成分矩阵，所述主成分矩阵即是降维后的数据；

其特征在于，所述协方差矩阵C_m×m的计算，包括以下子步骤：

S21：分配N个映射函数Mapper；

S22：分配一个归约函数Reducer，所述Reducer的输入是所述每个Mapper的输出结果；

S23：将所述Reducer的汇总结果代入协方差矩阵计算公式。

2.根据权利要求1所述的一种基于主成分分析算法的数据降维方法，其特征在于，所述主成分数量k的计算，包括子步骤：

S41：对所述特征值和其对应的特征向量进行排序；

S42：根据方差贡献率公式计算满足条件的最小k，所述的最小k即是主成分数量k。

3.根据权利要求1所述的一种基于并行化主成分分析算法的数据降维方法，其特征在于，所述主成分矩阵的计算，包括以下子步骤：

S51：根据所述排序后的特征值和其对应的特征向量，取前k大特征值对应的特征向量构造变换矩阵TransMat；

S52：若待降维样本数据矩阵D_n×m能够一次性加载到内存，则将所述样本数据矩阵D_n×m与所述变换矩阵TransMat相乘得到主成分矩阵，即降维后的数据。

4.根据权利要求3所述的一种基于并行化主成分分析算法的数据降维方法，其特征在于，若待降维样本数据矩阵D_n×m不能一次加载到内存，则所述主成分矩阵的计算，包括以下子步骤：

S61：把所述样本数据矩阵D_n×m按照所述步骤S2中的分块方式进行分块；

S62：把所述步骤S61中每个数据块与所述变换矩阵TransMat进行相乘，得到该块的主成分矩阵；

S63：合并每一块所述步骤S62中的主成分矩阵得到整个样本数据的主成分矩阵。