[发明专利]海量数据高速缓存的方法及装置

说明书

技术领域

本发明属于数据处理技术领域，尤其涉及海量数据高速缓存的方法及装置。

背景技术

随着大数据时代的来临，对海量数据的处理及存储的需求越来越大。目前主要采用关系型数据库来存储和处理海量数据。然而，由于关系型数据库存储的是记录型数据，容易存在大量的数据冗余，在统计分析时需要进行数据转换才可以使用，很不方便。而且，关系型数据库请求不同的数据需要关联不同的表，单独做查询接口，获取数据效率较低。另外，虽然关系型数据库提供了内存级别的缓存功能，在数据请求时会在服务器的内存中将数据缓存起来，下次相同的请求速度会加快很多。但是这种内存缓存会受到服务器内存大小的限制，存在缓存容量的瓶颈。

发明内容

本发明实施例提供一种海量数据高速缓存的方法，以解决现有技术采用关系型数据库来存储和处理海量数据，容易存在大量的数据冗余，且不适合统计分析平台进行数据处理的问题。

本发明实施例的第一方面，提供一种海量数据高速缓存的方法，所述方法包括：

将数据库中获取的原始数据转换成标准化的矩阵格式的数据，并将转换后的数据以mat文件格式缓存；

在接收到用户的数据请求信息时，判断所缓存的mat文件中是否存在与所述数据请求信息相对应的全部数据；

若否，从所述数据库中获取缺失的数据，所述缺失的数据为所缓存的mat文件中缺失的与所述数据请求信息相对应的数据；

将所述缺失的数据转换成标准化的矩阵格式的数据后填充到所述mat文件中，并将填充后的所述mat文件中与所述数据请求信息相对应的数据反馈给所述用户，所述mat文件为与所述数据请求信息相对应的文件；

将所述缺失的数据转换成标准化的矩阵格式的数据后以mat文件格式缓存。

本发明实施例的第二方面，一种海量数据高速缓存的装置，所述装置包括：

第一缓存单元，用于将数据库中获取的原始数据转换成标准化的矩阵格式的数据，并将转换后的数据以mat文件格式缓存；

判断单元，用于在接收到用户的数据请求信息时，判断所缓存的mat文件中是否存在与所述数据请求信息相对应的全部数据；

数据获取单元，用于在所述判断单元判断结果为否时，从所述数据库中获取缺失的数据，所述缺失的数据为所缓存的mat文件中缺失的与所述数据请求信息相对应的数据；

数据填充单元，用于将所述缺失的数据转换成标准化的矩阵格式的数据后填充到所述mat文件中，并将填充后的所述mat文件中与所述数据请求信息相对应的数据反馈给所述用户，所述mat文件为与所述数据请求信息相对应的文件；

所述第一缓存单元，还用于将所述缺失的数据转换成标准化的矩阵格式的数据后以mat文件格式缓存。

本发明实施例与现有技术相比存在的有益效果是：本发明实施例将数据库中的记录型数据转换成标准矩阵格式使用和存储，可大量减少记录型数据中的描述性冗余数据。而且将标准的矩阵数据缓存到mat文件，省去了数据转换的过程，从而可以和统计分析平台之间进行数据交互，大幅提升数据存储和读取的效率。另外，基于mat文件形式的数据缓存功能，可将缓存文件存储到硬盘，形成缓存文件管理系统，突破了内存缓存的容量限制。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的海量数据高速缓存方法的实现流程图；

图2是本发明实施例二提供的海量数据高速缓存装置的架构示例图；

图3是本发明实施例三提供的海量数据高速缓存装置的组成结构图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透切理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明第一实施例提供的海量数据高速缓存方法的实现流程，其过程详述如下：