[发明专利]一种基于Spark的海量遥感图像并行镶嵌方法及系统

说明书

本发明提出一种基于Spark的海量遥感图像并行镶嵌方法及系统，所述方法通过Spark集群中的Master节点作为整个Spark集群的控制器，将遥感图像镶嵌任务分发到各Worker节点；通过调用自定义RDD的操作算子完成图像的镶嵌处理。该方法通过重写Spark中RDD的compute和getPartitions方法，自定义针对遥感图像处理的RDD，并将图像镶嵌中的重叠区域估计、图像配准和图像融合三个关键步骤作为自定义RDD的操作算子实现图像镶嵌的并行处理，该基于Spark的海量遥感图像并行镶嵌方法在保证图像镶嵌效果的基础上，能够有效提高大数据量的图像镶嵌效率。

技术领域

本发明涉及遥感图像处理领域，特别涉及一种基于Spark的海量遥感图像并行镶嵌方法及系统。

背景技术

随着对地观测技术的不断发展，海量遥感图像的分析成为近些年来军事、气象、交通等领域研究的重点。然而，由于传统的串行方法或因自动化程度不高，或因计算过程过于复杂，难以并行化，无法满足数据量大，流程复杂，算法处理耗时巨大的大规模遥感图像镶嵌需求。而现有的遥感图像并行镶嵌算法中，处理流程基本和串行算法相同，只是在图像配准和图像融合等阶段分别使用数据并行进行处理，在处理过程中容易出现节点利用率低、存在频繁数据I/O等问题。

发明内容

为了解决上述存在的问题，本发明公开了一种基于Spark的海量遥感图像并行镶嵌方法及系统，通过自定义RDD，在Spark分布式内存计算框架中调用自定义RDD的操作算子，实现图像镶嵌的并行处理。

本发明通过如下方法来实现，一种基于Spark的海量遥感图像并行镶嵌方法，包括：

客户端提交遥感图像镶嵌任务，将经过预处理后的海量遥感图像提交到Spark集群；

Spark集群中的Master节点作为整个Spark集群的控制器，将遥感图像镶嵌任务分发到各Worker节点；

各Worker节点分别调用SparkContext的textFile，生成初始RDD；初始RDD通过隐式转换的方法，生成自定义RDD，所述自定义RDD中包含重叠区域估计、图像配准和图像融合操作算子；

自定义RDD调用重叠区域估计算子，在Spark集群的多个Master节点上通过改进的相位相关法进行遥感图像重叠区域估计处理；

对自定义RDD调用重叠区域估计算子后形成的新RDD，通过调用图像配准操作算子，执行遥感图像配准工作；

对完成图像配准工作转换后得到的RDD调用图像融合操作算子；

判断图像镶嵌是否完成，如果是，则调用RDD能够触发作业执行的Action类型的操作算子SaveAsTextFile，触发RDD DAG的执行，并将结果输出到HDFS；否则返回自定义RDD调用重叠区域估计算子步骤。

所述的方法中，所述初始RDD通过隐式转换的方法，生成自定义RDD，具体为：extends关键字继承自初始RDD，重写compute和getPartitions方法，并添加图像镶嵌方法。

所述的方法中，在重写的compute方法中，调用父RDD的iterator方法，获取父RDD对应分区中的数据。

所述的方法中，重写getPartitions方法具体为：在重写getPartitions方法时，调用父RDD的partitions方法，返回父RDD的分区；若在程序执行过程中不指定分区个数，则系统使用默认的分区策略。

所述的方法中，自定义RDD调用重叠区域估计算子，在Spark集群的多个Master节点上通过改进的相位相关法进行遥感图像重叠区域估计处理，具体为：设集群中节点的个数为n，对于每一节点中的图像I_i1(x,y)和I_j2(x,y)，有：