[发明专利]一种海量遥感影像元数据分布式存储方法及并行查询方法

权利要求书

1.一种海量遥感影像元数据分布式存储方法，其步骤为：

1)根据设定属性对海量遥感影像元数据进行属性分区；

2)对每一属性分区后的数据的经纬度范围分别进行均匀分区；

21)首先读取每一属性分区中的遥感影像元数据，计算所读取全部遥感影像元数据的最大经度的均值和方差、最大纬度的均值和方差、数据总条数N、最小边界矩阵MBR，构建DKD-Tree根节点，然后将根节点保存到一队列中；其中，DKD-Tree为对遥感影像元数据构建的索引树，在构建DKD-Tree的过程中，将DKD-Tree索引子树序列化并分散存储在分布式文件系统HDFS的各个机器节点上，将DKD-Tree叶子节点上的数据以一个数据分区保存到HDFS中；

22)从该队列中弹出一个节点标记为当前节点，如果当前节点的数据条数小于最小数据条数阈值，则当前节点不再分裂；将当前节点标记为叶子节点，并分配唯一的ID标识；如果当前节点数据条数大于或等于最小数据条数阈值，则选择方差最大的维度进行数据划分，即首先根据所选维度计算数据条目的中位数，然后根据该中位数将数据分为三个分支：①最大边界小于中位数的影像数据、②最小边界大于中位数的影像数据以及在情况①和②之外的数据；然后将分支节点放入该队列中；

23)重复步骤22)构建每一属性分区的DKD-Tree树，当当前DKD-Tree树深度大于树深度阈值则将当前DKD-Tree树序列化并保存，并保存当前DKD-Tree树的每个叶子节点中的数据。

2.如权利要求1所述的方法，其特征在于，所述属性分区后的数据、DKD-Tree树序列化的数据、叶子节点中的数据均保存到HDFS系统中。

3.如权利要求2所述的方法，其特征在于，将叶子节点ID作为文件夹名称，将叶子节点中数据保存到对应文件夹中。

4.如权利要求2所述的方法，其特征在于，所述设定属性为遥感影像元数据产生的时间、遥感影像元数据的文件大小或遥感影像元数据的地理区域。

5.一种基于权利要求1所述海量遥感影像元数据分布式存储方法所存储数据的并行查询方法，其步骤为：

1)将各属性分区的DKD-Tree树分别缓存到集群各个节点的内存中；

2)根据查询条件在对应DKD-Tree树上进行查询：①对于完全覆盖DKD-Tree的节点的查询，如果当前节点是叶子节点，则返回该叶子节点ID及其数据条数；如果不是叶子节点，则返回当前节点下的每一叶子节点ID及其数据条数；②对部分覆盖的叶子节点，则返回该叶子节点ID；

3)读取步骤2)中所有部分覆盖的叶子节点对应的数据M；计算查询条件与每个叶子节点对应遥感影像元数据是否相交；将每一叶子节点中相交的遥感影像元数据条数进行累加；然后返回对应的叶子节点ID以及相交数据条数；

4)将完全覆盖的查询结果和部分覆盖查询的结果汇总返回。

6.如权利要求5所述的方法，其特征在于，利用Spark计算查询条件与每个叶子节点对应遥感影像元数据是否相交。

7.如权利要求5或6所述的方法，其特征在于，汇总结果为一个数组，该数组格式为[(叶子节点ID1，数据条数1),(叶子节点ID2，数据条数2),……]。

8.如权利要求5或6所述的方法，其特征在于，对汇总结果按照叶子节点ID排序，然后将排序后的结果缓存到内存数据库Redis中。

9.如权利要求8所述的方法，其特征在于，对于分页查询，即查询中包含查询条件和页码，则首先根据分页查询中的查询条件从内存数据库Redis中读取缓存结果，然后根据当前页码、每页数据条数和读取的缓存结果，计算数据所在的分区；然后计算当前页数据在每个叶子节点中的数据范围；然后从HDFS中读取每个分区数据，计算查询条件与每个分区中的相交数据，然后根据每个分区的数据范围返回每个分区中满足当前页的数据；最后对所有返回的数据进行汇总；其中，HDFS中的每一分区存储一叶子节点对应的数据。