[发明专利]一种高性能的内存缓存系统及方法

说明书

技术领域

本发明涉及数据的存储技术，具体涉及数据的缓存技术。

背景技术

随着计算机技术的飞速发展，信息化的浪潮席卷全球，作为企事业单位自建应用系统越来越多，作为涉及从数据库或文件读取数据的应用系统，会因业务需求，从数据库或文件中读取数据会增加I/O操作，读取数据的速率低；特别在高并发的情况下：

对于数据库，在上百个并发连接下，会因为连接不够用，数据库系统响应缓慢原因，致使应用系统运行缓慢，甚至出现应用服务器崩溃现象；

对于文件，会因为读取文件数据，产生大量I/O操作，致使应用系统运行缓慢，甚至出现应用服务器崩溃现象。

综上所述，如何提高应用系统读取数据的效率是本领域亟需要解决的技术问题。

发明内容

针对上述现有应用系统因从磁盘中读取数据，导致读取数据速率降低，系统运行缓慢甚至应用服务器崩溃问题，本发明的目的在于提供了一种能够大大提高应用系统读取数据效率的高性能的内存缓存机制。

为了实现上述机制，本发明提供如下两种技术方案：

方案1：一种高性能的内存缓存系统，该内存缓存系统包括：

数据加载模块，所述数据加载模块将磁盘数据读入内存中；

数据转换模块，所述数据转换模块将读入到内存中的数据转换为KEY-VALUE格式的数据；

数据校验模块，所述数据校验模块对转换为KEY-VALUE格式数据进行唯一性校验；

数据存储模块，所述数据存储模块将转换为KEY-VALUE格式且经过数据校验模块校验过的数据存储到内存中；

数据检索模块；所述数据检索模块向应用系统提供用于检索内存中存储数据的数据检索方式。

在该系统的优选方案中，所述磁盘数据包括文件、数据库。

进一步的，所述数据校验模块对转换为KEY-VALUE格式数据进行唯一性校验时，若内存中存在该数据，则丢弃该数据，不再保存该数据到内存中。

方案2：在方案1提供系统的基础上实施的一种高性能的内存缓存方法，该方法包括如下步骤：

(1)数据加载，将磁盘数据读入到内存中；

(2)数据转换，将加载到内存中的磁盘数据，转换为KEY-VALUE格式的数据；

(3)数据校验，对步骤(2)中转换后的KEY-VALUE格式数据进行唯一性校验，若内存中已存在该数据，则丢弃，不再重复保存该数据到内存中；否则继续(4)；

(4)数据存储，将经过步骤(3)检验后的KEY-VALUE格式数据存储在内存中；

(5)数据检索，应用系统调用内存缓存系统的数据检索功能，对内存中存储的KEY-VALUE格式数据进行检索和调用。

在该方法的优选方案中，所述步骤(1)在应用系统启动时或首次访问内存数据时执行数据加载，且仅执行一次。

进一步的，所述步骤(5)中通过主键进行检索。

进一步的，所述步骤(5)中进行条件检索。

综合上述，本发明具有以下有点：

1.数据读取时，无需创建连接。

2.数据读取时，无需与磁盘产生I/O操作。

3.内存是CPU能直接寻址的存储空间，读取速率快。

4.内存中的数据以KEY-VALUE格式存储，具有查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询，支持条件检索。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明中高性能的内存缓存系统的原理框图；

图2为本发明中高性能的内存缓存方法的实现流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

本发明提供的高性能的内存缓存机制，基于相对于磁盘数据的读取，内存数据的读取速度要高出几个数量级的原理，将磁盘数据加载到内存中；同时内存中的数据按照KEY-VALUE格式存储，减少了数据冗余，提高了检索数据的命中率，减少了应用系统访问磁盘的次数，减少I/O操作次数，继而缩短了应用系统业务响应时间，提高了应用系统的性能。

基于上述原理，本发明提供的高性能的内存缓存系统10，主要由数据加载模块11，数据转换模块12，数据校验模块13，数据存储模块14，数据检索模块15相互配合完成(如图1所示)。