[发明专利]一种分布式文件系统的可用性增强方法及系统

说明书

本申请公开了一种分布式文件系统的可用性增强方法及系统，可用性增强方法包括：输入步骤：通过客户端将任一数据写入到fastDFS分布式文件系统中；创建缓存层步骤：在所述fastDFS分布式文件系统的跟踪服务器与存储服务器之间创建一个缓存层；处理步骤：通过所述缓存层对所述数据进行处理；输出步骤：所述数据经所述缓存层处理后上传到fastDFS分布式文件系统的每一所述存储服务器后向所述客户端返回一个上传成功的标志。本发明解决了fastDFS分布式文件系统在写入数据时存在的数据丢失的问题。

技术领域

本发明属于分布式文件系统的可用性增强方法领域，具体涉及一种分布式文件系统的可用性增强方法。

背景技术

FastDFS分布式文件系统，致力于实现文件操作的高可用、高并发，特别适合中小文件的存储操作，以其特有的轻量级、分组存储与对等结构这三大特点，被国内各大企业广泛应用。

FastDFS有三部分构成：跟踪服务器(trakcer server)、存储服务器(storageserver)和客户端(client)。跟踪服务器主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息，是客户端和数据服务器交互的枢纽。它负责管理所有的存储服务器(storage server)和组(group)，每个storage在启动后会连接Tracker，告知自己所属的group等信息，并保持周期性的心跳，tracker根据storage的心跳信息，建立group＝＝[storage server list]的映射表。存储服务器负责存储文件和文件属性(元数据)。客户端则作为业务请求的发起方通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。

分布式文件系统的高可用性一直是一个高关注度的问题，如何增强分布式文件系统的可用性，使系统性能得到提升具有重要意义。虽然fastDFS分布式文件系统具有机器配置要求低，上传速度快等优点，但是在fastDFS中从源storage写完文件至同步到组内其他storage的时间窗口内，一旦源storage出现故障，就可能导致用户数据丢失，而数据的丢失对存储系统来说通常是不可接受的，同时，fastDFS在对新增节点的数据同步时以轮询的方式选取存储节点，而该节点可能存储有大量数据或该节点正在使用，则同步效率将很低。可以看出，现有的fastDFS分布式文件系统没有合理的解决以上问题，其同步方式，以及同步机制仍需进一步的改进，以避免传统方式下可能造成的效率低下，稳定性差的问题。

fastDFS分布式文件系统上传机制原理图，如图1所示：

StorageServer会定时向tracker上传状态信息，当客户端发起上传连接请求后，Trackerserver会给客户端返回一个可用的storage的IP和端口，此时客户端便可直接通过IP和端连接到StorageServer上进行文件上传，在现有技术中，当客户端向fastDFS分布式文件系统中写文件时，客户端将文件写至group内一个storage server即认为写文件成功，storage server写完文件后，会由后台线程将文件同步至同group内其他的storageserver。

系统原有同步方案是轮循选择一台现有存储节点，利用该现有存储节点一对一地对新存储节点进行文件同步工作

发明内容

本申请实施例提供了一种分布式文件系统的可用性增强方法，以至少解决相关技术中主观因素影响的问题。

本发明提供了一种分布式文件系统的可用性增强方法，其中，包括：

输入步骤：通过客户端将任一数据写入到fastDFS分布式文件系统中；

创建缓存层步骤：在所述fastDFS分布式文件系统的跟踪服务器与存储服务器之间创建一个缓存层；

处理步骤：通过所述缓存层对所述数据进行处理；