[发明专利]分布式缓存方法及系统

摘要

本发明提供了一种分布式缓存方法及系统，该分布式缓存方法包括HDFS数据获取步骤通过HDFS的API把HDFS上存储的文件内容读取出来加载到共享内存当中；共享内存管理步骤用于连接客户端动态缓存库和服务器端缓存服务单元；交互控制步骤用于完成同一个主机的交互工作，用于与ZooKeeper服务器完成远程交互，用于计算想要获得的文件并且定位到缓存。本发明的有益效果是本发明的分布式缓存方法及系统通过对HDFS上的文件进行缓存，在进行文件读取的过程，直接读取缓存中的文件，这样就会极大的降低文件读取的时间，从而提高实时云服务的吞吐量和降低云服务的响应时间。

主权项

一种分布式缓存方法，其特征在于，该分布式缓存方法包括客户端动态缓存库和多个服务器端缓存服务单元，该分布式缓存方法构建在HDFS之上，在服务器端缓存服务单元中包括执行如下步骤：HDFS数据获取步骤：通过HDFS的API把HDFS上存储的文件内容读取出来加载到共享内存当中；共享内存管理步骤：用于连接客户端动态缓存库和服务器端缓存服务单元；在云服务应用端执行如下步骤：交互控制步骤：用于完成同一个主机的交互工作，用于与ZooKeeper服务器完成远程交互，用于计算想要获得的文件并且定位到缓存；该分布式缓存方法还包括运行在服务器端缓存服务单元上的序列号快照步骤，在所述序列号快照步骤中，用于周期性把元数据和所有的缓存文件写入本地操作系统的文件系统，形成一系列的快照；在所述共享内存管理步骤中，共享内存被分成了从个固定的页，页是最小的内存分配单位，在每页的最后留下4位来存储同一个文件的下一页，所有的页是以链表的形式组织；当客户端获取一个文件，缓存没有命中的时候，服务器端缓存服务单元将会从其他的服务器端缓存服务单元或者HDFS的本地快照中查找文件；当服务器端缓存服务单元加载文件内容到共享内存的时候，如果共享内存已经没有足够的页来分配，服务器端缓存服务单元会使用LRU算法去移除元数据信息图中最近一段时间没有使用的缓存内容；在处理LRU算法的时候，移除的文件放在本地磁盘中，如果本地磁盘没有足够的空间，LRU算法同样应用于本地磁盘来移除本地磁盘上的最近一段时间没有使用的文件；每个缓存文件有多个副本。