[发明专利]一种基于Spark的海量二三调数据成果流量高性能计算方法

说明书

本发明公开了一种基于Spark的海量二三调数据成果流量高性能计算方法，属于地理信息系统领域。本发明的方法步骤包括：S1、对二调地类图斑与三调地类图斑进行相交处理；S2、对二调零星地物进行处理；S3、对二调线状地物进行处理；S4、进行二调与三调数据成果流量分析。本发明采用了完全开源的技术栈，基于Postgresql数据库实现二调和三调数据的分布式存储，基于Java GIS工具包GeoTools进行空间数据处理，基于分布式的计算引擎Spark来保证海量矢量数据计算的高效性与准确性。

技术领域

本发明属于地理信息系统领域，具体涉及一种基于Spark的海量二三调数据成果流量高性能计算方法。

背景技术

国土是生产之要、生存之本、生态之源、自然之基。国土调查是我国法定的一项重要制度，是全面查实查清土地资源的重要手段。开展第三次国土调查数据成果流量分析是为了准确把握国家土地利用变化总体趋势，为国家直接掌握翔实准确的全国土地利用现状和土地资源变化情况，进一步完善土地调查、监测和统计制度，实现成果信息化管理与共享，满足空间规划编制、供给侧结构性改革、国土空间用途管制等各项工作提供重要的数据支持。

目前市面上大多的地类流量分析模型都是基于ArcGIS应用程序来搭建的，但是，ArcGIS作为一个商业软件，使用者受限于开发公司的政策影响与权限控制，同时也无法看到底层实现数据计算的逻辑。因此如何基于开源平台实现二调与三调数据成果的流量分析，是目前亟待解决的技术问题。

发明内容

本发明的目的在于解决现有技术中存在的问题，并提供一种基于Spark的海量二三调数据成果流量高性能计算方法。

本发明所采用的具体技术方案如下：

一种基于Spark的海量二三调数据成果流量高性能计算方法，该方法步骤如下：

S1、按照S11～S14对二调地类图斑与三调地类图斑进行相交处理：

S11：分别对二调地类图斑与三调地类图斑进行相同的格网化操作，使空间位置相同的地类图斑赋予相同的格网编号；然后使用cogroup算子将两个格网中格网编号相同的图斑连接起来；

S12：针对S11中连接后的格网，遍历格网中的每一个格网，判断当前格网内的每一个三调地类图斑是否存在相交的二调地类图斑，若存在则新建一个对应的MultiPolygon类型的要素图层存储三调地类图斑和二调地类图斑的相交图斑，并在其属性表中记录原三调地类图斑和二调地类图斑的基本信息以及每个相交图斑的标识码bsm23和面积信息；

S13：对于要素图层中存储的每一个相交图斑，对该相交图斑进行负向缓冲区操作，将负向缓冲区操作后新的相交图斑与要素图层中存储的相交图斑进行对比，若二者外包矩形框长宽比变化范围超过阈值，则以新的相交图斑替换要素图层中原先存储的相交图斑，否则依然保留要素图层中原先存储的相交图斑；

S14：将存储了所有格网中的相交图斑的要素图层以及其属性表以Tuple2格式的元组形式输出，形成第一结果集；

S2、按照S21～S24对二调零星地物进行处理：

S21：将所述第一结果集和二调中的零星地物图层进行相同的格网化操作，使空间位置相同的相交图斑和二调零星地物赋予相同的格网编号；然后使用leftOuterJoin算子，将两个格网中格网编号相同的相交图斑和零星地物连接起来，返回的结果集包含了第一结果集的全部数据和两个图层中有交集的数据；

S22：针对S21中连接后的格网，使用mapToPair算子，遍历格网中的各个格网，如果格网内没有零星地物，则直接返回格网内的相交图斑及其标识码bsm23；如果格网内有零星地物，判断零星地物落在哪一个相交图斑中，并将该零星地物的信息记入该相交图斑的属性表中，返回相交图斑和零星地物以及由相交图斑标识码和零星地物标识码拼接成的组合标识码bsm23_lx；