[发明专利]一种空间数据管理方法、系统及计算机可读存储介质

说明书

本申请涉及一种空间数据管理方法、系统及计算机可读存储介质，其方法包括：获取对象文件生成请求；根据对象文件生成请求生成对象文件及索引文件，对象文件为文件系统的连续存储空间；当空间数据需要写入文件系统时，获取空间数据的小文件对应的元数据信息及小文件内容；将元数据信息及小文件内容写入对象文件；将元数据信息写入至索引文件，并生成定位信息，定位信息用于在索引文件中定位元数据信息，元数据信息用于在对象文件中定位小文件内容。

技术领域

本申请涉及数据存储和处理领域，尤其是涉及一种空间数据管理方法、系统及计算机可读存储介质。

背景技术

目前，空间数据是由许多类小文件组成的，如矢量数据业界通常的采用.gdb格式或者.shp格式或者其他种类格式，这些格式大部分包含多个小文件，又如地图瓦片，由许多文件大小在几KB到几十KB之间不等小文件组成。相关技术通常将这些由小文件组成的空间数据直接存放至操作系统自带的文件系统，虽然具有操作简便的优点，但是会产生以下三个问题：

一是导致过多的索引节点（inode），inode是文件的元数据信息，包括了文件的字节数、权限、文件块数量等信息，每个文件在都在磁盘上保存一个inode，在相同的容量下，小文件相较于大文件会产生大量的inode，海量小文件会达到文件系统的inode的上限，导致文件检索性能较低、极端情况下会造成无法继续写入文件。

二是形成磁盘碎片，大量的小文件没有存储在连续的磁盘空间，会导致非常多的磁盘碎片，这些不连续的磁盘存储会导致在读取小文件时，磁头耗费大量的时间在寻址定位，文件读写速度会大幅度降低。

三是导致存储空间膨胀，以Windows文件系统为例，磁盘管理的最小单元为簇（block），比如簇的最小空间为4KB，那么即便是1KB的文件也占用了4KB的硬盘空间，5KB则占用了8KB的硬盘空间，Linux等其他操作原理类似，因此小文件存储会导致磁盘占用空间膨胀。

基于以上3个问题，相关技术会导致操作系统对海量空间数据的小文件管理能力有限，数据容量有限、写入和读取效率极低。

发明内容

为了有助于提高空间数据的小文件的读写效率及管理能力，本申请提供了一种空间数据管理方法、系统及计算机可读存储介质。

第一方面，本申请提供一种空间数据管理方法，采用如下的技术方案：

一种空间数据管理方法，包括：

接收文件写入请求，生成存放数据的对象文件；

根据所述文件写入请求，将空间数据写入对象文件及生成索引文件，所述对象文件为文件系统的连续存储空间；

当空间数据需要写入所述文件系统时，获取所述空间数据的小文件对应的元数据信息及小文件内容；

将所述元数据信息及所述小文件内容写入所述对象文件；

将所述元数据信息写入至所述索引文件，并生成定位信息，所述定位信息用于在所述索引文件中定位所述元数据信息，所述元数据信息用于在所述对象文件中定位所述小文件内容。

通过采用上述技术方案，在进行空间数据写入之前，先按照对象文件生产请求生产对象文件及索引文件，对象文件是文件系统的磁盘空间中的一个连续存储空间，当空间数据需要写入文件系统时，获取空间数据的小文件对应的元数据信息及小文件内容，将元数据信息及小文件内容写入对象文件，将元数据信息写入至索引文件，并生成定位信息，从而在定位信息和小文件内容之间建立索引关联关系，相比于相关技术，由于小文件集中存储在连续存储空间的对象文件，使得海量小文件存储不会产生大量索引节点，不会形成磁盘碎片，不会导致磁盘占用空间膨胀，进而提高了空间数据的小文件的读写效率及管理能力。

可选的，所述获取所述空间数据的小文件对应的元数据信息及小文件内容，包括：

当空间数据需要写入所述文件系统时，获取所述空间数据的小文件对应的小文件内容，所述小文件的数量至少为一个；

根据所述小文件内容确定内容字节数；