[发明专利]分布式小文件存储系统

说明书

本发明公开了分布式小文件存储系统，包括采用Master‑Slave架构部署的MasterNode节点和多个DataNode节点；所述MasterNode节点用于操作和管理文件目录树，以及管理DataNode节点；所述DataNode节点用于存储文件目录树中记载的文件数据；所述文件目录树存储在redis数据库集群中，所述MasterNode节点对文件目录树进行操作时，从redis数据库集群中获取文件目录树。本发明解决无法高效的存储海量小文件的问题。

技术领域

本发明属于数据存储技术领域，尤其涉及一种分布式小文件存储系统。

背景技术

本发明主要基于两个方面的背景，一是企业数字化转型加速，存在海量数据存储的需求，二是海量分布式文件系统的快速发展，尤其是当先大数据技术的发展，使得分布式文件存储在企业中广泛的应用，技术发展的已经比较成熟。

目前，分布式文件存储已经越来越广泛的应用到企业中，在进行数据存储，数据备份，数据挖掘，机器学习等方面发挥着重要的作用，随着技术的进一步完善，分布式文件存储系统的功能越来越多的被研发出来。分布式文件存储系统的基本功能是文件的存储，提供多种接口供用户将文件存储在服务器上，并提供存储和备份的功能,服务器能够比较方便的存储各种各样的文件。

其次，分布式文件存储系统的广泛应用也是本发明的重要背景，分布式文件存储系统是以文件读写和文件管理为基础的系统，它可以将文件存储在服务器，即将文件写入服务器的磁盘中，也可以从从服务器下载查看文件，即从服务器磁盘将文件读取，同时，它也在对整个文件系统进行文件目录的管理。

当下应用比较广泛的分布式文件存储系统主要有C语言开发的FastDFS和Java语言开发的Haoop这两种文件存储系统。

FastDFS系统缺乏备份通知机制，只要向storage写入一份就成功，在同步到其他storage备份的时候，一旦源storage出现故障，就可能导致用户数据丢失，用户数据的丢失对文件存储系统来说是不可接受的。其次，FastDFS缺乏自动恢复机制，而且数据恢复效率低。

Hadoop是大数据存储的产物，他虽然有高可靠行，高扩展性，高容错性的特点，但是Hadoop的架构导致其不适合低延迟数据访问，其次是Hadoop采用内存管理文件目录树，存在内存瓶颈，而海量的小文件会占用大量的内存空间，因此无法高效的存储海量小文件。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种分布式小文件存储系统，解决无法高效的存储海量小文件的问题。

为解决上述技术问题，本发明采用的技术方案是：分布式小文件存储系统，包括采用Master-Slave架构部署的MasterNode节点和多个DataNode节点；

所述MasterNode节点用于操作和管理文件目录树，以及管理DataNode节点；所述DataNode节点用于存储文件目录树中记载的文件数据；所述文件目录树存储在redis数据库集群中，所述MasterNode节点对文件目录树进行操作时，从redis数据库集群中获取文件目录树。

上述分布式小文件存储系统，还包括SecondaryMasterNode节点，所述SecondaryMasterNode节点中维护有与MasterNode节点中相同的文件目录树；所述MasterNode节点对文件目录树的操作会同步SecondaryMasterNode节点；当SecondaryMasterNode对文件目录树同步操作后，将文件目录树同步到redis数据库集群中。

上述分布式小文件存储系统，所述MasterNode节点对文件目录树的操作会产生editslog日志文件；每间隔T时间，所述SecondaryMasterNode节点对文件目录树进行备份操作，备份得到的fsimage文件同步给MasterNode节点，MasterNode节点清除在fsimage文件生成之前时间内的editslog日志文件。