[发明专利]一种分布式并行文件系统缓存数据同步的方法及系统

说明书

技术领域

本发明涉及分布式并行文件系统，尤其涉及一种实现分布式并行文件系统缓存数据同步的方法及系统。

背景技术

随着云计算技术、云存储技术应用的进一步发展，作为其应用核心的分布式并行文件系统也得到了快速的应用和发展。分布式并行文件系统具有动态高可扩展性、大容量、集群结构以及支持高并发的特征。

为满足云计算、云存储实际业务请求的需要，运行在其后端的分布式并行文件系统构建在分布式的集群节点上，主要包括元数据节点、数据存储节点以及客户端节点。元数据采用高性能、大容量服务器或者采用元数据集群的方式构建，数据存储采用数据存储集群的方式构建，客户端节点采用具备大容量高速缓存、运行快的高性能服务器以集群方式构建。

在云计算、云存储应用中，大量的访问请求需要发送到分布式文件系统的客户端节点进行数据的读写操作。针对包含大量读操作、写操作混合的访问请求，客户端节点需要将相应的读请求数据缓存到内存，将写请求数据写入到缓存后尽快完成对上层访问请求的响应。大规模的分布式并行文件系统中的大量客户端节点均采取这种方式运行，所有这些客户端节点在某些时刻需要将缓存中已完成的请求数据提交到数据存储节点实现数据实际写操作，而在写入过程中又夹杂着读操作或者更新操作。

目前分布式并行文件系统普遍采取的数据缓存操作，一般依赖于文件系统所在的操作系统的缓存处理机制。操作系统对于文件系统中的读操作，采取预读策略将目标数据及位置相邻数据读取并放入系统缓存中。对于写操作，采取“缓写”机制，即数据在缓存写完后为写完成，当缓存写请求累计到既定数据大小(如64MB)后，才执行一次实际的写操作。

如果在实际写请求执行之前，分布式并行文件系统持续处于繁忙的状态，或者出现部分宕机事件，则将出现数据缓存的不一致问题。

发明内容

本发明所要解决的技术问题是克服目前分布式并行文件系统在实际写请求执行之前持续处于繁忙状态或者出现部分宕机事件将出现数据缓存不一致的缺陷。

为了解决上述技术问题，本发明提供了一种分布式并行文件系统缓存数据同步系统，包括元数据监控模块(1)、数据存储监控模块(2)、客户端监控模块(3)、负载仲裁模块(4)以及缓存同步模块(5)，其中：

所述元数据监控模块(1)、数据存储监控模块(2)以及客户端监控模块(3)分别用于根据预设的时间维度，实时监控分布式并行文件系统中元数据访问、数据存储以及客户端的性能负载，并分别生成元数据负载评价、数据存储负载评价以及客户端负载评价；

负载仲裁模块(4)，用于根据所述元数据负载评价、数据存储负载评价和客户端负载评价，以及预设的负载评测时间窗和负载时长的波动阈值，生成多个不同时间维度的负载时长评测数据；

缓存同步模块(5)，用于根据所述负载时长评测数据执行元数据、数据存储以及客户端的缓存同步操作。

优选地，所述元数据监控模块(1)用于通过基于时间长度的多维度负载时长比生成所述元数据负载评价。

优选地，所述数据存储监控模块(2)用于监控数据存储上所承担的输入输出(IO)负载，通过基于时间长度的多维度负载时长比获得存储节点所存储数据的读取量和写入量，生成所述数据存储负载评价。

优选地，所述客户端监控模块(3)用于监控客户端所承载的读请求和写入请求，根据所述读请求和写入请求生成所述客户端负载评价。

优选地，所述缓存同步模块(5)用于将所述元数据、数据存储以及客户端中缓存的脏数据写入到文件系统中。

本发明还提供了一种分布式并行文件系统缓存数据同步方法，包括：

根据预设的时间维度实时监控分布式并行文件系统中元数据访问的性能负载，生成元数据负载评价；

根据预设的时间维度实时监控分布式并行文件系统中数据存储的性能负载，生成数据存储负载评价；

根据预设的时间维度实时监控分布式并行文件系统中客户端的性能负载，生成客户端负载评价；

根据所述元数据负载评价、数据存储负载评价和客户端负载评价，以及预设的负载评测时间窗和负载时长的波动阈值，生成多个不同时间维度的负载时长评测数据；

根据所述负载时长评测数据执行元数据、数据存储以及客户端的缓存同步操作。

优选地，根据预设的时间维度实时监控分布式并行文件系统中元数据访问的性能负载，生成元数据负载评价，包括：