[发明专利]半结构化数据的存储方法及存储系统

说明书

技术领域

本发明涉及数据存储技术，尤其涉及一种半结构化数据的存储方法及存储系统。

背景技术

随着计算机网络的飞速发展和信息技术的进步，半结构化数据呈现出日益繁荣的趋势。由于半结构化数据的数据结构是不固定、不完全或不规则的，形式是多样化的。主要应用于对存储数据无严格模式限制的万维网以及电子邮件、电子商务、文献检索中。半结构化数据介于模式固定的结构化数据，例如，关系库中的表/元组和对象库中的类型/对象，与完全没有模式的无序数据，例如，正文、声音、图像之间。

半结构化数据的存取方式较为简单，使用开源、高性能的键/值（Key/Value）的Redis存储方式，键/值可根据实际需要进行扩充。

大多数的Key/Value数据，随着时间推移，较少被访问，只是作为存档数据，成为冷数据。研究表明，实际数据的访问一般都符合齐普夫（Zipf）分布，大约有90％的Key/Value数据是冷数据，存储后再也没有被访问过，6.5％的Key/Value数据是偏冷数据，只是偶尔被访问，只有约3.5％的Key/Value数据是偏热数据，经常被访问。

在很多应用场景，对于被经常访问的偏热数据，半结构化的Key/Value数据拥有超大的访问量，并且要求较低的响应时间。但现有半结构化数据的存储方法，访问量较少的数据也必须存储于内存中，从而浪费了大量的内存，资源利用率较低，查询响应速度较慢；同时，Redis使用单进程单线程的方式，在使用Redis时，为了最大限度的发挥Redis的性能，需要通过多个实例来提高性能，而多实例的方式增加了运维的复杂度和成本。

发明内容

本发明的实施例提供一种半结构化数据的存储方法，提高资源利用率、提升查询响应速度。

本发明的实施例还提供一种半结构化数据的存储系统，提高资源利用率、提升查询响应速度。

为达到上述目的，本发明实施例提供的一种半结构化数据的存储方法，包括：

关系型数据库插件接收用户的数据查询请求，调用关系型数据库存储引擎查询内存，所述内存通过所述关系型数据库存储引擎采用最近最少使用队列维护数据，将预定时间内未被使用的数据从内存中逐出，存放在外部的固态硬盘中；

关系型数据库存储引擎判断内存中是否存储有数据查询请求对应的数据；

如果有，将查询得到的数据携带在数据查询请求结果中进行输出；如果未存储有，从外部的固态硬盘中进行查询，通过外部的固态硬盘查询，获取数据查询请求结果进行输出。

其中，所述关系型数据库插件包括应用层模块和MySQL服务层模块，所述应用层模块包括：业务逻辑单元以及服务访问客户端单元，其中，服务访问客户端单元包括：MySQL客户端子单元以及Handlersocket客户端子单元，所述MySQL服务层模块包括：监听程序单元、SQL语句解析层单元、服务器端的接口单元以及Handlersocket插件单元，所述关系型数据库插件接收用户的数据查询请求，调用关系型数据库存储引擎包括：

业务逻辑单元接收用户的数据查询请求，如果确定进行MySQL查询，将数据查询请求通过MySQL客户端子单元输出至监听程序单元，如果确定进行Handlersocket查询，将数据查询请求通过Handlersocket客户端子单元输出至Handlersocket插件单元；

监听程序单元监听MySQL客户端子单元的请求，将接收的数据查询请求转发给SQL语句解析层单元；

SQL语句解析层单元接收数据查询请求，调用服务器端的接口单元，在内存中进行数据查询；

Handlersocket插件单元接收数据查询请求，调用服务器端的接口单元，在内存中进行数据查询。

其中，所述方法进一步包括：

将数据查询请求结果中携带的数据从固态硬盘中写入内存。

一种半结构化数据的存储系统，该系统包括：关系型数据库插件、关系型数据库存储引擎以及固态硬盘，其中，

关系型数据库插件，用于接收用户的数据查询请求，调用关系型数据库存储引擎以使关系型数据库存储引擎访问数据；通过关系型数据库存储引擎接收数据查询请求结果，进行输出；