[发明专利]一种云中并行快速傅里叶变换数据处理方法及装置

说明书

本发明公开了一种云中并行快速傅里叶变换数据处理方法及装置，包括：将获取的快速傅里叶变换FFT的初始数据进行数据预处理，得到运算数据；基于云计算大数据处理框架，将所述运算数据分成P个运算数据集，并存储于弹性分布式数据集RDD中；将所述RDD映射到云中的P个计算节点；给P个所述计算节点分配计算资源；按照分配的所述计算资源，在每个计算节点对所述运算数据集进行FFT蝶形运算，得到每个计算节点本地运算数据集，并将所述本地运算数据集存储于RDD中；将所述RDD中当前数据集两两交换后，进行FFT蝶形运算，得到运算结果，并将所述运算结果存储于所述RDD中，重复本步骤，直到得到唯一的最终运算结果。

技术领域

本发明涉及数据处理技术领域，特别是指一种云中并行快速傅里叶变换FFT数据处理方法及装置。

背景技术

在信号处理领域，快速傅里叶变换(FFT)是一种广泛使用的算法，用于将信号数据从时间变换到频率。但当数据规模变得巨大时，这种传统算法不能有效地解决信号处理问题。随着数据的指数增长，大规模FFT存在着三大挑战，即大数据量、实时性要求高和资源利用率高。在云网络等需要大数据处理的场景中，传统方法无法满足这些大数据的大规模计算需求计算资源。

目标检测通常采用一些传统的方法，如雷达检测来检测航空目标。但是，当来自高空飞行器的信号较弱时，这些方法就不可用。幸运的是，利用卫星的空间电信号来检测目标是探测航空目标的一种可行的发展方法。由于飞机会反射来自卫星的信号，因此地面接收站会获得两个不同的信号，包括直接来自卫星的纯信号和飞机反射的反射信号。通过对纯信号和反射信号进行分析比较，可以得到空中目标的位置信息。需要说明的是，比较过程中需要实时处理一个小时的大量数据，这就要求后台的数据处理系统具有对大容量数据进行计算的能力，在时间上缩放信号数据。

具体来说，在信号比较中，需要处理大量数据，同时产生巨大的中间数据。在这个过程中，傅立叶变换起着不可或缺的作用。傅立叶变换将时间函数分解为频率。作为傅立叶变换序列中的一种算法，离散傅立叶变换被广泛用于检测接收信号的特征。从这些特征可以获得目标的信息。但是，离散傅里叶变换的计算量很大，导致效率低下。FFT算法，有效地简化和加速了离散傅里叶变换，成功地将离散傅立叶变换的复杂度降低。

尽管快速傅立叶变换比离散傅里叶变换更有效，但当数据规模变得巨大时，这种传统算法不能有效地解决信号处理问题。FFT算法不仅用于信号处理，而且还应用于许多其他领域，如图像处理，光谱分析，数据压缩，数据压缩，数据压缩等等，因此提高大数据FFT算法的效率对很多的研究领域都有利。

发明内容

有鉴于此，本发明的目的在于提出一种云中并行快速傅里叶变换数据处理方法及装置，以缓解现有技术中存在的大数据量信号处理效率低，实时性不高以及资源利用率低的问题。

基于上述目的，本发明提供了一种云中并行快速傅里叶变换数据处理方法，包括：

将获取的快速傅里叶变换FFT的初始数据进行数据预处理，得到运算数据；

基于云计算大数据处理框架，将所述运算数据分成P个运算数据集，并存储于弹性分布式数据集RDD中；

将所述RDD映射到云中的P个计算节点；

给P个所述计算节点分配计算资源；

按照分配的所述计算资源，在每个计算节点对所述运算数据集进行FFT蝶形运算，得到每个计算节点本地运算数据集，并将所述本地运算数据集存储于RDD中；

将所述RDD中当前数据集两两交换后，进行FFT蝶形运算，得到运算结果，并将所述运算结果存储于所述RDD中，重复本步骤，直到得到唯一的最终运算结果。

进一步的，所述将获取的快速傅里叶变换FFT的初始数据进行数据预处理，得到运算数据，包括：