[发明专利]一种支持大规模并发的三维空间数据放置方法

说明书

技术领域

本发明涉及地理空间信息系统技术领域，特别是涉及一种支持大规模并发的三维空间数据放置方法。

背景技术

尽管计算机硬件技术发展迅速，数据库管理系统性能也有了极大的提高，然而，快速处理复杂空间数据操作所需的处理能力和现有空间数据库所提供的性能仍然无法完全匹配，这导致了三维空间数据库的性能绝大多数受限于对空间操作的响应处理能力和对大量三维空间数据存取的I/O吞吐能力。由于三维空间数据库应用总是伴随着密集的I/O操作和CPU（Central Processing Unit，中央处理器）操作，通常CPU访问内存的速度非常快（纳秒级），而访问磁盘的I/O时间通常要比内存访问速度慢几个数量级（微秒级），尤其是多用户并发时，三维空间数据从二级存储磁盘到内存之间存在着严重的I/O瓶颈。因此，针对TB级的海量三维空间数据库高性能实时应用的需求，磁盘读取的性能必然成为影响海量三维空间数据读取效率的关键影响因素。

针对三维空间数据库的海量性、类型复杂等特点以及高效数据调度的需求，亟需研究减少磁盘I/O的性能瓶颈的三维空间数据分布放置的方法，来有效分散磁盘I/O。虽然冗余磁盘阵列（Redundant Array of Inexpensive/Independent Disks，RAID）技术将多个物理磁盘按照一定方式组合起来形成大的逻辑对象，其将数据自动分散在多个磁盘上，可以提供数据保护与提高数据读写速度等能力。但是，由于三维空间数据不同类型数据的组织方法、访问特点等存在明显的差异，单纯采用RAID本身并不会将I/O性能提高到最佳状态，因此需要针对不同类型数据的数据特点、组织方法以及访问特点等，研究三维空间数据不同数据在多磁盘/RAID组上的分布放置方法，来有效分散磁盘I/O，为大规模三维空间数据库的高效调度提供基础。

综上所述，三维空间数据库操作所涉及的数据规模巨大，不可能一次装入内存，必须通过密集的I/O操作反复与磁盘进行数据交换。快速处理复杂空间数据操作所需的处理能力和现有空间数据库所提供的性能仍然无法完全匹配，这导致了三维空间数据库的性能绝大多数受限于对空间操作的响应处理能力和对大量三维空间数据存取的I/O吞吐能力。因此，将三维空间数据库的数据分布放置在不同的磁盘/RAID组是必然的解决方法。但是，现在通用的数据分布放置方法，未充分考虑三维空间数据库的数据内容及其数据访问的特点，因此都难以对大规模三维空间数据的多磁盘分布放置取得最佳的分布效果。

发明内容

本发明提供了一种支持大规模并发的三维空间数据放置方法，旨在解决现有技术难以对大规模三维空间数据的多磁盘分布放置取得最佳的分布效果，无法突破大规模多用户并发导致的三维空间数据库读取的I/O瓶颈这一技术问题。

本发明采用如下技术方案：

一种支持大规模并发的三维空间数据放置方法，所述方法包括如下步骤：

S1、检测服务器存储设备的硬件环境并获取所述存储设备的磁盘信息，更新所述磁盘信息的描述文件；

S2、基于三维空间数据的数据内容分析以及存储设备的磁盘信息描述，确定各类型三维空间数据在存储设备上的多磁盘分布放置方案；

S3、根据所述多磁盘分布放置方案，对各类型三维空间数据进行多磁盘分布放置；

S4、根据各类型三维空间数据的多磁盘分布放置情况，实时更新所述存储设备的磁盘信息描述文件。

优选地，所述存储设备的磁盘信息包括：存储设备的磁盘数或RAID组数，以及所述磁盘设备的容量和已使用量。

优选地，所述三维空间数据按数据类型分为：地形数据、三维要素数据和纹理数据，其中所述地形数据包括数字高程模型数据和数字正射影像数据。

优选地，所述步骤S3具体包括：

A、采用基于金字塔层的多磁盘分布存储方法，对分层分块的海量地形数据进行多磁盘分布放置；

B、采用基于三维要素类的三维要素数据多磁盘分布存储方法，对包含多要素类的三维要素数据进行多磁盘分布放置；

C、采用基于散列的分布存储方法，对纹理数据进行多磁盘分布放置。

优选地，所述步骤A具体包括：

A1、获取DEM和DOM金字塔层数M，以及服务器存储设备的可用磁盘数或RAID组数N；

A2、创建DEM和DOM金字塔层第i层数据表，i初始化为0；

A3、将DEM金字塔层第i层数据放到第j个磁盘或RAID组，将DOM金字塔层第i层数据放到第N-j个磁盘或RAID组，j初始化为0，i和j依次递增；