[发明专利]一种基于Spark的影像金字塔分布式切片系统及方法

说明书

本发明提供了一种基于Spark的影像金字塔分布式切片系统和方法。该系统包括：Spark Driver组件，用于构建影像金字塔并向Spark Worker组件分配切片任务；Spark Worker组件，其上部署有GDAL库，用于根据所分配的切片任务从分布式共享文件系统中读取GeoTiff文件，完成重采样和切片，将切片生成的瓦片文件存储至所述分布式共享文件系统；分布式共享文件系统，用于存储所述GeoTiff文件和瓦片文件。本发明实现了内部多线程并行计算与集群多主机分布式并行计算叠加的分布式并行切片，突破单机存储资源和计算资源瓶颈，极大地提升了切片数据规模和切片效率。

技术领域

本发明涉及遥感技术领域，特别地涉及一种基于Spark的影像金字塔分布式切片系统及方法。

背景技术

随着航空航天遥感技术的快速发展，大量的高分辨率遥感影像产品为国计民生提供了重要支撑。高分辨率影像具有地理范围覆盖广、数据规模大等特点。将遥感影像分层分块存储是实现影像在计算机上快速浏览的基础，分层分块的过程就是影像金字塔构建与切割的过程，即将大图幅的遥感影像数据按照分辨率和空间范围切割成不同层次大小相同瓦片，这一过程被称为切片。目前ArcGIS、SuperMap等主流GIS商用软件支持影像金字塔切片，但是这些商用软件生态封闭，使用者需要支付软件费用；于是，有开发能力的个人或者组织更常用GDAL库实现切片。

GDAL是一个由C++编写的开源栅格空间数据转换库，GDAL影像金字塔切片过程分为两个阶段：影像金字塔构建阶段与图像切片阶段。金字塔构建是指根据影像覆盖范围、图像分辨率计算出影像金字塔层数和每层切片的行列范围，形成一个切片任务列表；图像切片是指根据切片任务列表，执行图像处理层面的重采样和切割，输出尺寸大小一致的瓦片文件。但是，GDAL原生仅支持单机运行，该架构下的切片性能受制于机器的硬件配置，所以线程池的线程数相对有限，针对海量的遥感影像切片任务，单机切片效率成为瓶颈；而且遥感影像数据规模较大，单机磁盘空间对数据量承载能力有限，制约数据规模。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一，提供一种基于Spark的影像金字塔分布式切片系统和方法。

为此，根据本发明的第一方面，提供了一种基于Spark的影像金字塔分布式切片系统，包括：

Spark Driver组件，用于构建影像金字塔并向Spark Worker组件分配切片任务；

Spark Worker组件，其上部署有GDAL库，用于根据所分配的切片任务从分布式共享文件系统中读取GeoTiff文件，完成重采样和切片，将切片生成的瓦片文件存储至所述分布式共享文件系统；

分布式共享文件系统，用于存储所述GeoTiff文件和瓦片文件。

进一步地，所述Spark Worker组件为多个。

进一步地，所述构建影像金字塔并向Spark Worker组件分配切片任务包括：

读取所述分布式共享文件系统中的GeoTiff文件的描述信息；

根据所述GeoTiff描述信息构建影像金字塔以及切片任务列表；

将切片任务分配给Spark Worker组件。

进一步地，在所述Spark Worker组件上运行有Executor进程单元，由Executor进程单元执行GDAL库，完成切片任务。

进一步地，所述分布式共享文件系统是MooseFS分布式共享文件系统。

根据本发明的第二方面，提供了一种基于Spark的影像金字塔分布式切片方法，包括：

Spark Driver组件构建影像金字塔并向Spark Worker组件分配切片任务；