[发明专利]一种基于Flink的探地雷达数据SVD分布式算法

权利要求书

1.一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，包括如下步骤：

1)采集数据，使用Flume数据采集框架，读取原始雷达数据文件，按照文件头中的元数据来切分数据道，记录在文本文件中；

2)收集文本文件，随后用HDFS存储数据，将数据以分块的方式分布式存储在集群的不同节点中；

3)在Flink计算框架中对数据进行分布式计算，首先从HDFS中读取数据，将步骤1)中的每行数据解析为原始矩阵A_m×n，通过公式A＝U∑V^T进行SVD分解，得到三个矩阵U、E、V，具体计算方法如下：

U是A的左奇异向量组，是A*A^T的m个特征向量的标准正交基，称为A*A^T的酉矩阵，V是A的右奇异向量组，是A^T*A的n个特征向量的标准正交基，称为A^T*A的酉矩阵，E_m×n中主对角线的值由A*A^T的非零特征值得到，最终对A进行SVD分解就转换成为求解A*A^T和A^T*A的特征值和特征向量，最后得到三个矩阵U、E、V，通过SVD分解可以将存储矩阵A转换成存储矩阵U、E、V，极大的减少数据的存储量；

4)建立大数据框架，首先建立大数据集群，集群一共7台机器，其中4台为Hadoop集群，1台namenode，3台datanode，3台为Flume集群，4台为Flink集群，Fink集群与Hadoop集群共用，1台JobManager，3台TaskManager，大数据计算框架Flink在SVD分解的过程中，提供了分布式计算的物理节点和数据分发策略，最后利用HDFS进行分布式存储，将U、E、V分布式的存储在集群不同的节点上。

2.根据权利要求1所述的一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，所述步骤1)中，在切分后的每一条数据尾部增加“\n”分隔符。

3.根据权利要求1所述的一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，所述步骤2)中，使用textCollector将步骤1)中的数据源统一进行收集。

4.根据权利要求1所述的一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，所述步骤3)计算SVD的过程中，将矩阵分成子矩阵块，按照计算规则分布式的分发到集群的不同节点，通过Map算子进行子矩阵块的基本运算以及初等行变换，计算之后再根据特征值进行排序，提取前n个非零的特征值，剩下的置为零，对子矩阵块进行聚合，将矩阵复原，将结果数据存储到HDFS中，既可以减小数据规模，又可以对数据去噪。

5.根据权利要求1所述的一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，所述步骤3)中，所述U矩阵中向量为正交，称为左奇异向量，Σ矩阵除了对角线的元素都是0，对角线上的元素称为奇异值，V^T矩阵的向量为正交，V里面的向量称为右奇异向量。

6.根据权利要求1所述的一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，所述步骤3)中，特征值的计算方法如下：

计算A和A^T的相乘，得到矩阵M_m×m，根据|M-λE|＝0，求解M的特征多项式的值，采用可编程实现的GAUSS消元法来实现，从第一行开始进行迭代计算，每次消元涉及到相邻的两行数据，最后得到上三角行列式，特征多项式的值就是主对角线值的乘积，进而求得λ，通过公式求得E_m×n的主对角线值。

7.根据权利要求1所述的一种基于Flink的探地雷达数据SVD分布式算法，其特征在于，所述步骤3)中，特征向量的计算方法如下：

首先选取非零特征值，通过公式(M-λE)x＝0进一步求得特征向量，对特征向量进行标准化，得到A*A^T的酉矩阵U，同理也可以求得A^T*A的酉矩阵V。