[发明专利]基于文档模型的空间数据块状组织存储与化简压缩方法在审
申请号: | 201810294069.8 | 申请日: | 2018-04-03 |
公开(公告)号: | CN108628951A | 公开(公告)日: | 2018-10-09 |
发明(设计)人: | 崔登吉 | 申请(专利权)人: | 苏州舆图数据科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京科家知识产权代理事务所(普通合伙) 11427 | 代理人: | 张丽 |
地址: | 215000 江苏省苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 空间数据 块状组织 存储 文档 压缩 嵌套 几何数据 文档模型 空间数据组织 索引叶子节点 数据库设计 一体化存储 存储模型 关系文档 节点中心 控制参数 连续存储 属性数据 数据存储 压缩单元 整体编码 组织存储 参照点 内空间 压缩比 映射 存取 检索 邻近 跳跃 访问 | ||
1.一种基于文档模型的空间数据块状组织存储与化简压缩方法,其特征在于:其包括:
基于文档模型提供空间数据的块状组织方式和非结构化存储模型,用于空间数据的组织存储;
在块状组织存储的基础上提供空间数据的化简压缩方法,用于空间数据的化简压缩;
当空间数据需要存储时,所述方法包括如下步骤:
S1:从文件或数据库中读取待入库数据集的元数据信息,主要包括但不限于数据集名称、数据集类型、数据集范围、坐标系信息、要素数等,将这些元数据信息组织成元数据文档对象,写入到元数据信息集合中;
S2:读取待入库数据集的要素,选取一种空间索引方式,设置合理的节点容量和利用率等参数,在入库缓存中构建空间索引,其中,空间索引方式可以采用但不限于如下索引:R树索引及其变种、STR树索引、四叉树索引、空间填充曲线索引等;
S3:获取S2中空间索引的叶子节点,读取节点的唯一值键(ID)、最小外包矩形(MinimumBounding Rectangle,MBR)等描述信息,并计算节点MBR的中心点坐标(Center Point,CP);
S4:新建文档对象,生成文档对象的唯一值键,将S3中获取的节点MBR和CP存储到文档对象的元数据域,创建要素存储的对象数组并写入文档对象的数据域,形成块状组织存储框架;
S5:依次读取S3中叶子节点的要素数据,构建要素存储子对象,将要素的属性数据使用键值对形式存储到对象的属性域,将要素的几何数据以使用编码压缩的变长二进制形式存储到对象的空间域,并将新建的要素存储子对象添加到S4文档的对象数组中;遍历叶子节点的所有要素,将索引的叶子节点映射为一个完整的文档对象,完成块状组织存储的一个文档“块”存储;
S6:依次遍历数据集S2空间索引的所有叶子节点,重复步骤S3、S4、S5完成整个空间数据集要素的块状组织存储与化简压缩,并将S2空间索引结构序列化存储到S1元数据信息集合中。
2.根据权利要求1所述的基于文档模型的空间数据块状组织存储与化简压缩方法,其特征在于:所述步骤S4中新建文档对象,生成文档唯一值键,组织文档元数据域,创建文档数据域,形成块状组织存储框架,其特征包括以下步骤:
S4-1:文档对象唯一值键的生成步骤可直接使用索引节点ID作为文档对象的唯一值键,通过ID实现空间索引与文档对象的映射;
S4-2:文档对象的元数据域,使用子对象的形式组织存储但不限于节点的MBR和CP等元数据信息,其中,MBR使用最小角点(MinX、MinY)和最大角点(MaxX、MaxY)表示,CP使用(CenterX,CenterY)表示;
S4-3:文档对象的数据域,使用对象数组形式存储存储要素数据,数组的大小等于节点要素数,每个对象由属性域和空间域构成,唯一值键、元数据域、数据域,数据域又包含要素属性域和要素空间域,共同组成文档模型的块状组织存储结构。
3.根据权利要求1所述的基于文档模型的空间数据块状组织存储与化简压缩方法,其特征在于:所述步骤S5中,遍历索引叶子节点,组织构建包含属性域和空间域的要素存储子对象,完成叶子节点到文档对象的映射,其特征包括以下步骤:
S5-1:读取要素数据,新建要素存储对象,将要素FID作为要素对象的唯一键值,针对线面类型要素,要素对象结构预留几何数据MBR存储域;
S5-2:读取要素属性数据,使用键值对形式存储属性字段和属性值,依次写入要素对象的属性域;
S5-3:读取要素空间几何数据,以数据存储精度为控制参数,以节点中心坐标CP为参照基准,以节点为基本单元,对要素的几何数据和线面要素的MBR进行组内编码压缩,将编码压缩后的几何数据以变长二进制形式存储到要素对象的空间域,将编码压缩后的MBR数据以变长二进制形式存储到S51中预留MBR存储域;
S5-4:遍历整个叶子节点,重复步骤S5-1、S5-2、S5-3将全部要素用同样的方式映射到对象数组中,完成节点到文档块的组织存储。
4.根据权利要求3所述的基于文档模型的空间数据块状组织存储与化简压缩方法,其特征在于:所述步骤S5-3中对几何数据和MBR的编码压缩存储,其特征包括以下步骤:
S5-3-1:确定精度控制参数,根据不同应用场景,采用但不限于以下方式计算精度参数:以原始数据误差的倒数为精度参数进行无损级别的编码压缩、以渐进传输中化简比例为精度参数进行渐进编码压缩、以数据可视化的像素精度为控制参数进行无损显示级别的编码压缩;
S5-3-2:使用精度控制参数的倒数,将节点中心坐标CP和要素几何数据从浮点型数据转为整型数据,以无损级别控制参数为例,转换公式如下:
设L为几何数据中包含NV个顶点的线对象,V={V1,V2,....VNV},顶点Vi的坐标为[Xi′,Yi′],Xi的最高精度为10-p,Yi的最高精度为10-q,p、q为数据固有误差精度,将空间对象L的每个顶点进行量化,可以得到与原有精度保持一致的整型坐标[Xi′,Yi′],
Xi′=[Xi×10p+0.5]
Yi′=[Yi×10q+0.5]
p、q分别是数据的X、Y坐标精度,以X坐标说明;
S5-3-3:以节点中心坐标CP为参照基准,充分利用组内要素的空间邻近性,对每个要素几何坐标进行差分,只存储增量数据,根据线要素,处理后几何数据的存储结构如下SV所示:
以对象L为例,差分存储序列如下:
SX1=X′1
SY1=Y′1
SXi=X′i-X′i-1其中i=2....NV
SYi=Y′1-Y′i-1其中i=2....NV
设SV为V的存储结构:
SV={V1,V2-V1,V3-V2,...,VNV-VNV-1}
S5-3-4:将S533距离增量存储转为二进制序列,将二进制序列左移1位,如果原值为负数则求反码,按7位一组进行划分,最后一组位数不足的前面补零,除最后一组外全部与0x80进行或操作,最后将每组转换为ASCII对应的编码,存储到要素对象的空间域;
根据坐标值118.916089说明,设数据精度为10-5,则X=118.916089,p=5;放大后向下取整得:
X′=[X×10p+0.5]=[118.916089×105+0.5]=11891609
转为32位二进制值:
00000000 10110101 01110011 10011001
将二进制值左移一位(去掉符号位):
00000001 01101010 11100111 00110010
将二进制值从低位开始每7位一组进行分块,最后一组值加128即与0x80进行“或”操作:
0000101 10101011 10011100 110010
然后对二进制串进行字符编码。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州舆图数据科技有限公司,未经苏州舆图数据科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810294069.8/1.html,转载请声明来源钻瓜专利网。