[发明专利]一种融合数据传输和存储的非易失内存缓存方法

说明书

本发明涉及一种融合数据传输和存储的非易失内存缓存方法，通过RDMA技术，在网络传输过程中直接访问服务端节点的非易失内存数据，基于数据请求以及缓存资源与硬盘空间的映射关系，执行相应缓存操作。与现有技术相比，本发明在整个存储系统访问过程中，零内存拷贝；建立读/写分离的缓存体系，读缓存采用线性映射方式，写缓存采用日志方式；在缓存脏数据交换到后端硬盘时，可以去除重复写入请求，排序、合并随机写入请求，具有高速、高性能的优点。

技术领域

本发明涉及一种数据存储方法，尤其是涉及一种融合数据传输和存储的非易失内存缓存方法。

背景技术

非易失内存(NVRAM)是一种在硬件和软件上均拥有内存访问特性的非易失存储介质，其在硬件上位于内存插槽，软件上支持内存地址访问方式。当前，单位容量的NVRAM的价格和性能介于内存和固态硬盘(SSD)之间，单根NVRAM容量也介于内存和SSD之间；在当前服务器中，受限于内存插槽数量、价格等因素限制，NVRAM容量不可能很大，所以其作为硬盘(尤其是SSD)的缓存来使用比较合适。

存储设备或者系统均会保证一定程度上的原子操作，以避免故障时候数据损坏。块设备的原子操作颗粒度一般为一个扇区(512字节)，而非易失内存设备的原子操作颗粒度一般为一个CPU cache line长度(8字节)，所以非易失内存作为存储至少需要通过软件模拟，保证扇区单位的原子操作。

当前，非易失缓存软件系统一般是构建在块设备系统之上，需要通过块设备接口访问缓存介质，即需要把非易失内存模拟为一个块设备，再通过内存拷贝的方式实现数据访问，该种方式会带来以下缺点：

1、块设备接口需要运行通用块设备层的程序，增加NVRAM访问延时；

2、远程直接内存访问(RDMA)传输技术无法直接访问块设备，需要通过操作系统内存中转；

3、内存和NVRAM之间数据传输，需要通过CPU进行拷贝，耗费大量CPU资源，存储系统响应速度慢；

4、NVRAM模拟成块设备，需要额外消耗CPU资源来解决扇区单位的原子操作问题，且该种方法只能保证写入请求中每个扇区的原子性，无法保证整个写入请求的原子性；

5、现有缓存技术一般使用读/写一体的缓存体系，缓存颗粒度比较小，无法进行有效数据合并，大量数据交换会导致硬盘成为性能瓶颈；

6、读/写一体的缓存系统，无法保证数据写入请求的完整性，存在写入请求部分更新的情况。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种高速、高性能的融合数据传输和存储的非易失内存缓存方法，可以把传输协议融合到数据存储中，做到缓存系统零内存拷贝，保证写入请求的原子性，最大化的减少系统延时，降低CPU资源消耗，发挥出NVRAM的内存特点，从而提高缓存系统性能。

本发明的目的可以通过以下技术方案来实现：

一种融合数据传输和存储的非易失内存缓存方法，通过RDMA技术，在网络传输过程中直接访问服务端节点的非易失内存数据，基于数据请求以及缓存资源与硬盘空间的映射关系，执行相应缓存操作。

进一步地，所述非易失内存对应有一缓存资源池，

所述非易失内存被划分为数据区、元数据区和索引区，所述数据区具有多个用于存储缓存数据的数据块chunk，元数据区为每个chunk创建2个元数据块meta0和meta1，索引区为每个chunk创建一个有效索引index，

一个四元组(index,meta0,meta1,chunk)构成一个缓存数据资源，非易失内存中所有四元组组成所述缓存资源池。

进一步地，采用原子更新方法进行所述数据区的元数据更新。