[发明专利]一种基于Flink的探地雷达数据SVD分布式算法

说明书

本发明提供了一种基于Flink的探地雷达数据SVD分布式算法，使用Flume抽取海量探地雷达数据，利用分布式文件系统HDFS存储数据文件，再通过基于分布式计算引擎Flink的分布式SVD计算，建立一套规范的大数据框架处理探地雷达数据的基本流程，分析集群在计算时的性能及数据质量，在保证SVD滤波效果一致的前提下，通过Flink计算框架提高计算的效率，同时应用实际探地雷达数据，给出大数据集群的处理方案和基本流程。

技术领域

本发明涉及探地雷达数据处理领域，尤其涉及一种基于Flink的探地雷达数据SVD分布式算法。

背景技术

近年来，随着数据采集手段的飞速发展以及数据来源的多样丰富，尤其是互联网激增的大规模用户行为数据，我们所能获得的数据规模已经从十年前的数万、数十万到今天的动辄上千万、甚至是数亿。在此大数据背景下，越来越多的应用或算法向分布式系统或平台扩展，如何优化算法使其能够并行化实现，如何选择并行处理技术、大数据框架以及如何针对具体工具研制高效并行算法成为了高效处理海量数据的关键。

雷达数据处理属于现代雷达系统中的重要组成部分，通过接收雷达信号处理后的原始点迹进行处理，得到目标的位置、速度等状态，最终形成目标运动轨迹。随着现代信息化战争武器的不断革新，雷达技术及其体制不断完善，相应地对雷达数据处理系统也提出了更高的要求，需要处理的数据越来越复杂，数据量越来越大，使得加快雷达数据处理的速度成为必要。

SVD算法在探地雷达数据噪声分离方面有着广泛的应用。其中心思想是用正交变换将原矩阵化为双对角线矩阵，然后再对双对角线矩阵用变形的QR算法进行迭代。目前SVD算法主要分为QR算法、Jacobi算法等，上述算法虽然可以达到一定精度，但由于其O(n³)的时间复杂度使得其在数据量增大时，计算效率迅速降低，只能适用于中小型矩阵。因此要想解决大规模矩阵的奇异值分解问题，必须将算法并行化，利用并行计算框架来实现。此外，基于QR算法和Jacobi算法及其扩展算法，在迭代计算时都会更新原矩阵数据，对于大规模的稀疏矩阵而言，此类计算方法将改变矩阵的稀疏度，更新矩阵数据，这对于大规模数据集而言可能会产生不可预料的后果。Flink计算框架利用大数据生态的优势，能够将计算分发到分布式存储上的多个节点，并行计算提高效率。为此，本发明提出基于Flume的探地雷达数据转换和基于HDFS的大规模探地雷达数据存储。同时利用Flink计算框架实现SVD算法的分布式计算，提高SVD算法的计算效率，并在实际模型上验证其效果。

发明内容

为了解决上述问题，本发明提供了一种基于Flink的探地雷达数据SVD分布式算法，实现分布式存储数据的同时，也能提高计算效率。

本发明提供的技术方案是：一种基于Flink的探地雷达数据SVD分布式算法，包括如下步骤：

1)采集数据，使用Flume数据采集框架，读取原始雷达数据文件，按照文件头中的元数据来切分数据道，记录在文本文件中；

2)收集文本文件，随后用HDFS存储数据，将数据以分块的方式分布式存储在集群的不同节点中；

3)在Flink计算框架中对数据进行分布式计算，首先从HDFS中读取数据，将步骤1)中的每行数据解析为原始矩阵A_m×n，通过公式A＝U∑V^T进行SVD分解，得到三个矩阵U、E、V，具体计算方法如下：