[发明专利]一种基于数据复杂度的空间矢量数据的建模方法

说明书

本发明公开了一种基于数据复杂度的空间矢量数据的建模方法，包括以下步骤：建立空间矢量数据集；计算空间矢量数据均匀度，根据公式PH＝ΣNi/J和PHi＝Ni/PH得到空间对象偏离值，发现原始数据的不均匀性，数据量总数与分布式计算节点数量匹配性矛盾；分割处理，遍历矢量数据集，若PHi＞M，M为初始值(M＝1.00)，则使用Ni＝F(PHi)，(F(PHi)：空间对象分割算法)和预处理软件对该空间对象进行水平分布，分割处理，提升数据均匀度；建立分布式空间数据库；常用指标效率对比测试。本发明通过我们提出的空间矢量数据均匀度模型，对原始数据颗粒度进行重新划分，达到分布式计算所需的合理均匀度，避免木桶效应，降低数据传输(广播)时间，大大提高计算效率。

技术领域

本发明涉及空间矢量数据计算技术领域，具体涉及一种基于数据复杂度的空间矢量数据的建模方法。

背景技术

分布式数据库将集中存储的数据分布到若干节点上存储，并通过并行计算，同时完成若干节点上数据的处理，解决集中式架构I/O吞吐瓶颈和单点计算带来的效率低下问题。在非空间信息数据库中，每条记录的各个字段由一些数字和文本构成，数据量比较均匀，计算效率非常高，而且计算效率与节点基本成线性比例提升，因此分布式架构成为目前大数据计算的主流技术。

由于所有信息都具有时空属性，因此地理空间信息作为连接所有信息的天然载体，在大数据时代具有重要作用，目前地理空间大数据也广泛应用分布式架构进行巨量地理空间矢量数据的高性能计算。为了便于管理和应用，地理空间矢量数据也采用面向对象的数据建库模式，即一个空间对象在库中作为一条记录的某个字段来存储。但空间对象本身具有信息颗粒度极不均匀的问题，例如POI、控制点等点对象，数据量一般只有几个字节；河流、等高线等线对象，行政界线、地类图斑等面对象，数据量从0.1K到上百兆不等，但他们在数据库里都是一条记录。对于这些数据量差异巨大的对象，在分布式架构下的数据传输/广播和分布式并行计算都面临严重的木桶效应问题(整体计算效率由最慢的那个计算节点决定)。即由于少数对象数据量特别巨大，导致与其相关的计算节点上数据传输和计算耗时特别大，根据分布式并行计算的原理，其他已完成传输和计算的节点，必须等待这些节点完成计算才能统一汇总，完成整个计算任务，空间大数据计算属于全新技术领域，上述问题都是我们在理论推导和试验中发现的，未见类似报道。

发明内容

本发明的目的在于提供一种基于数据复杂度的空间矢量数据的建模方法，用以解决空间矢量数据易产生木桶效应，降低数据传输时间，数据计算分析效率较低的问题。

为解决上述技术问题，本发明采用了以下方案：

一种基于数据复杂度的空间矢量数据的建模方法，包括以下步骤：

S1：建立空间矢量数据集；

S2：计算空间矢量数据均匀度，首先根据公式PH＝ΣNi/J(PH:平均均匀度，Ni：第i个空间对象复杂度，Ni为空间矢量数据本身属性，本领域技术人员可直接得到Ni值，J：空间对象数量，本领域技术人员可直接得到)计算得到原始数据平均均匀度值，然后将PH值代入公式PHi＝Ni/PH(Ni：第i个空间对象复杂度，PHi：第i个空间对象偏离值)计算得到原始数据空间对象偏离值，通过上述原始数据复杂度计算，发现原始数据的不均匀性；

S3：预设一个M初始值(M＝1.00)；

S4：分割处理，遍历矢量数据集，若PHi＞M，则使用Ni＝F(PHi)，(F(PHi)：空间对象分割算法)和预处理软件对该对空间对象进行分割处理，提升数据均匀度；

S5：建立分布式数据库；

S6：常用指标效率对比测试，若对比测试效率提升值不显著，则返回步骤S4，调整M值大小，重新对原始数据进行分割处理，若对比测试效率提升值显著，对比测试结束，原始数据重新分割处理，是为找到一个合理的M值，使得原始数据达到分布式计算所需的合理均匀度，避免木桶效应，降低数据传输时间，大大提高计算效率。