[发明专利]一种面向分布式环境的空间数据复合处理系统和方法

权利要求书

1.一种面向分布式环境的空间数据复合处理系统，其特征在于，包括主计算机及其主空间数据库MSDB（Master Spatial Database）模块、子计算机及其子空间数据库SSDB（Slave Spatial Database）模块、Hadoop并行处理平台模块、分布式块文件系统BDFS（Block-based Distribute File System），在基于Hadoop平行处理平台上进行部署而形成的计算机网络集群，其中，主空间数据库模块以及子空间数据库模块通过分布式块文件系统交互，同时在客户端提供交互式文字和图形界面，用于添加、删除、更新与查询各类空间数据；所述的子空间数据库模块处理本地接收到的各类局部空间查询任务，负责从BDFS中读取所需要的数据信息，并添加新的数据以返回结果；数据在系统中以类型和数据块文件的形式分布保存在BDFS中，类型文件以文本形式描述空间数据概要，数据块文件以二进制形式保存数据的具体信息。

2.一种面向分布式环境的空间数据复合处理的方法，其特征在于包括如下步骤：

步骤1，主空间数据库读取数据，并分布保存在BDFS中，方法如下：

步骤1-1，对于给定的各类数据按照不同的数据属性（如时间属性、空间属性等）进行矩阵化划分；

步骤1-2，数据的元数据信息以文本形式写入一个类型文件，每一部分数据的具体信息以二进制形式写入一个数据块文件，文件均采用冗余保存的形式存储在若干部署有BDFS系统的子计算机中，以提高系统的容错能力，划分后的位置元数据信息则保存在主数据库中，以备后续查询任务调用；

步骤2，系统利用Hadoop平台以及数据的概要位置进行并行任务的分配，各子计算机待接收到相应的Map或Reduce任务后，则将具体数据库查询提交本地的子数据库模块进行处理，具体方法如下：

步骤2-1，Hadoop平台将Map任务分配矩阵化表示数据中的每一行，并将任务分配至保存有此行具体数据子计算机中，以便从本地读取所需数据；

步骤2-2，Map阶段结束后，中间结果数据再按照矩阵化进行表示存储，数据保留初始第一种数据分布属性，但根据具体查询的不同，将返回依照其它划分属性分割为若干列；

步骤2-3，Hadoop平台将Reduce任务分配至中间结果矩阵的每一列，并任意分配至当前可用的子计算机中进行执行。

3.根据权利要求2所述的面向分布式环境的空间数据复合处理的方法，其特征在于步骤1-1的数据矩阵化划分与分离式存储，具体步骤如下：

步骤1-1-1，数据作为关系数据库表进行表示，依据用户自定义的最多两种不同的数据属性（如时间属性、空间属性等），按行划分；

步骤1-1-2，按照第一种数据属性，将数据划分为若干矩阵行，并可继续按照第二种数据属性，将数据再进一步划分为若干矩阵列；

步骤1-1-3，矩阵中的每一单元格部分保存为一个独立的数据块文件，每一行所有的数据块文件共享一个类型文件，并保存在相同子计算机的BDFS模块中。

4.根据权利要求2所述的面向分布式环境的空间数据复合处理的方法，其特征在于步骤2-1的Map任务处理，具体步骤如下：

步骤2-1-1，本地读取所需数据的类型文件信息，若与查询要求不符，则返回主数据库模块；

步骤2-1-2，从本地计算机的BDFS模块读取需要的数据块文件，并利用本地的子数据库模块进行相应处理，返回结果待再划分后写入本地的BDFS模块。

5.根据权利要求2所述的面向分布式环境的空间数据复合处理的方法，其特征在于步骤2-3的Reduce任务处理，具体步骤如下：

步骤2-3-1，远程读取所需数据的类型文件信息，若与查询要求不符，则返回主数据库模块；

步骤2-3-2，从BDFS中读取所有需要的数据块文件（含本地与其它计算机），并利用本地的子数据库模块进行相应处理，返回结果写入本地的BDFS模块中。