[发明专利]一种可灵活配置的数据库分层存储优化方法

说明书

本发明涉及一种可灵活配置的数据库分层存储优化方法，包括以下步骤：提供一SQL功能，用于支持用户按需灵活配置表、索引和WAL日志的存储管理方式；和用户利用提供的所述SQL功能，依据应用数据的活跃程度，定制自己的表、索引和WAL日志的存储管理方式。本发明有益效果：所述方法采用分层存储思想，对传统数据库存储管理进行优化，改造后的数据库不仅支持NVM和SSD等新型存储介质，而且还允许用户通过SQL命令按需分层存储数据，有效解决传统数据库的IO瓶颈问题，显著地提升整个系统的性能。

技术领域

本发明涉及数据库存储技术领域，涉及一种数据库存储优化方法，尤其涉及一种可灵活配置的数据库分层存储优化方法。

背景技术

通常，存储介质的用途主要包括两类：缓存数据：为CPU高速计算缓存数据，例如DRAM；存储数据：永久保存应用数据，例如HDD；当前的主流存储介质主要有DRAM、NVM、SSD和HDD，它们的特征对比如下表1所示：

表1当前主流存储介质特征对比表

上表1中DRAM和NVM都属于内存设备，价格昂贵，存取单位是字节，在数据库运行中常用于缓存数据，二者的主要区别包括：DRAM和NVM存取速度都很快，NVM具有非易失性，而DRAM没有，因此在数据库中DRAM和NVM都可用于缓存数据，而NVM还可用于永久存储数据；NVM的存储容量比DRAM大；DRAM的存取速度比NVM稍快，因此更适合缓存最活跃的数据。

上表1中SSD和HDD都属于硬盘设备，存储容量比内存设备要大很多，具有非易失性，常用于永久存储数据，二者的主要区别包括：SSD的IO随机存取速度比HDD快很多；SSD的存储容量比HDD小；SSD的价格比HDD贵。

传统数据库一般只支持DRAM和HDD，而还不支持NVM和SSD等新型存储介质。其中，前者用于CPU计算时缓存数据，后者用于永久存储数据。并且，数据库对应用数据的存储管理一般都是自动实现，用户不能灵活配置各自的数据存储管理方式。

传统数据库的性能瓶颈主要体现在内存容量不足，内存和硬盘的IO存取速度不匹配等方面，具体如下：

在内存上，传统数据库主要采用DRAM内存，它的主要问题包括：容量小，不能缓存大量的计算数据，从而限制CPU的处理能力；易失性，一旦断电则可能导致DRAM上缓存的数据丢失，因此为保障数据可靠性，更新后的数据应及时地存储到硬盘等永久介质上，这易导致CPU计算受阻；换句话说，当前内存的主要问题是容量小和易失性问题。

在硬盘上，传统数据库主要采用HDD硬盘，它的主要问题是：虽然存储容量非常大，但它的IO存取速度，尤其是随机存取速度非常慢。在很多数据库应用中，通常需要大量的索引扫描，即随机IO存取访问。因此，当前硬盘的主要问题是随机存取速度慢问题。

综上所述，在传统基于DRAM和HDD方式下，用户是不能设计自己的数据存储方案，数据存储由系统内部自动实现，即永久数据存储在HDD硬盘上，缓存数据存储在DRAM内存上。这种方式的主要缺陷包括：因DRAM和HDD的能力不足，制约CPU处理能力的充分发挥。尤其是在数据规模和吞吐量要求很高的数据库应用中，IO问题会变得更加突出。

发明内容

本发明正是基于以上问题，提供一种可灵活配置的数据库分层存储优化方法，旨在保护用户已有数据库系统投资前提下，通过数据库内部少量改造和开发新SQL功能提供数据库存储优化。

为实现上述的发明目的，本发明采用的技术方案如下：

本发明所提供一种可灵活配置的数据库分层存储优化方法，包括以下步骤：

提供一SQL功能，用于支持用户按需灵活配置表、索引和WAL日志的存储管理方式；和用户利用提供的所述SQL功能，依据应用数据的活跃程度，定制自己的表、索引和WAL日志的存储管理方式。