[发明专利]基于文档模型的空间数据块状组织存储与化简压缩方法

说明书

本发明公开了一种基于文档模型的空间数据块状组织存储与化简压缩方法，其针对文档型数据库设计了大规模空间数据组织、压缩与存储方案，基于非关系文档存储模型，将索引叶子节点内全部对象通过嵌套方式映射到同一文档中，实现节点内空间邻近对象的物理连续存储，即块状组织存储。嵌套文档内部实现属性数据与几何数据一体化存储，支持空间与属性的直接相互检索。以块为要素几何数据的化简压缩单元，以节点中心坐标为参照点，采用数据存储精度为控制参数，实现了单元内部对象的整体编码化简压缩。这种组织存储方式，降低了空间数据的压缩比，减少了大规模空间数据访问时的I/O跳跃、保障了I/O的连续性，实现了大规模空间数据的高效存取。

技术领域

本发明涉及空间数据库、空间数据组织存储领域，具体为一种基于文档模型的空间数据块状组织存储与化简压缩方法。

背景技术

空间数据是对地理空间中地理对象或现象及其关系的数字化表达，具有典型的空间定位和非结构化特征。空间数据的组织存储是查询、分析、可视化与共享发布的基础。当前，数据库已成为空间数据存储的主要场所，数据库技术的快速发展为空间数据的存储提供了支撑。空间数据模型是对地理对象及其相互关系的描述与表达，作为地理对象以空间数据形式映射到数据库的桥梁，为空间数据库设计提供了基础。空间数据按其模型可划分为矢量数据与栅格数据两种基本类型。栅格数据因结构较为规则，其组织存储与化简压缩方法已较为成熟。矢量数据由于空间关系复杂，具有空间邻近性和非结构化特征，其组织存储与化简压缩是空间数据库的关键技术。

随着智慧城市的快速推进，物联网、移动定位技术和基于位置服务(LocationBase Service，LBS)的迅速发展，空间数据呈现出爆炸式增长，面对这些体量庞大、增量迅速，以多维域和非结构化为特征的空间大数据，现有空间数据库存储系统出现了查询与访问效率低下、存储与传输成本过高等一系列问题。发明新型空间数据组织存储与化简压缩技术是解决这些问题的关键。

当前空间数据主要依赖于关系型数据库或对象关系型数据库进行存储，由于关系模型的离散化组织和结构化存储与空间数据的空间邻近性和非结构化之间的矛盾，使得关系型数据库在大数据时代背景下，难以支撑大规模空间数据的高效存取，且云计算框架下，关系型数据库很难进行横向扩展，无法通过简单的添加硬件节点来提高系统性能。近年来，非关系型(NoSQL)数据存储系统因其灵活的扩展性、高可用性、高并发读写能力及开源等特性得到迅速的发展，成为云计算环境下典型的数据存储系统，为解决这些问题提供了良好的技术基础和可行方案。

NoSQL数据存储系统按数据模型的不同可划分为键值对(Key-Value)模型、列存储(Column-Family)模型和文档存储(Document-Store)模型三类。键值对模型和列存储模型由于不支持非主键查询，这种模型下主键的设计与空间查询都受到较大的限制，比较适合用于结构相对规则的栅格和影像数据的存储，难以设计顾及空间数据基本特性的矢量空间数据组织存储方案。文档模型以键值对模型为基础，每个文档都是自包含的数据单元，以多组键值对的集合形成循环嵌套的结构。对象可以使用JSON或BSON等多种形式存储。文档模型与键值对模型和列存储模型不同是值(Value)具有明确的类型，且能够支持非主键的索引与查询。文档模型的模式自由为空间数据的组织与非结构化存储提供了有力支撑。所以文档存储模型成为当前最为适合矢量空间数据组织存储的非关系模型。

在新技术背景下，空间数据组织存储方式呈现由关系型向非关系型数据库迁移的趋势。现有基于文档模型的空间数据存储方式中属性数据进行直接存储、空间数据采用GeoJSON格式进行存储。这种方式的优点是属性数据与几何数据一体化存储，不需要额外的连接，避免了属性与几何分开存储带来的一致性维护和连接问题。但GeoJSON格式存储无法对几何数据进行压缩，导致存储空间的增加，进而影响数据检索与访问的性能。当前基于文档模型的组织存储方式并没有解决空间数据的离散化组织问题，且非关系模型在无共享的本地存储模式下，表现出的最大特点就是存储系统的随机访问特性，这种随机访问特性极大的限制了大规模地理数据的存取性能。