[发明专利]一种可靠高效的分布式文件系统

说明书

本发明公开了一种可靠高效的分布式文件系统，属于数据存储技术领域，一种可靠高效的分布式文件系统，包括日志模块，系统控制模块和存储模块，所述日志模块包括日志记录，所述系统控制模块包括主控节点、备用节点和主备模式进程，所述主控节点与备用节点之间通过主备模式进程连接，所述存储模块包括磁盘和内存缓存层，所述日志记录分别与主控节点和备用节点连接，所述系统控制模块分别与内存缓存层和磁盘连接，所述系统控制模块还连接有多个存储节点，能够很好的处理单点失效问题，并能利用系统中的内存缓存层，极大的提升系统对于小文件的读取效率。

技术领域

本发明涉及数据存储技术领域，更具体地说，涉及一种可靠高效的分布式文件系统。

背景技术

随着云计算及大数据技术的广泛应用，海量数据的存储即分布式文件系统也来也受到关注，其中存储系统的可靠性和文件读取的效率是研究的热点问题。

现有技术中《分布式文件系统和分布式文件系统的数据备份方法》于2016 年1月13日中国国家知识产权局申请专利并公开，公开号105242988B。该专利设计了具备异地备份功能的分布式文件系统，采用Syncserver实现异地数据同步，采用DNS智能解析实现用户数据切换。

本方案采用异地备份，仅仅实现了数据备份，试想如果连本地的分布式数据节点都宕机了，那么本地的主控点Master宕机的可能性就非常的大，这种情况下，异地的数据依然用不了。此方案，仅仅能够保障数据不丢失，不能保障服务的可持续性，因为它缺少主控的备份模块——备控Slave。

现有技术中申请号为2014102959855的《一种分布式文件系统》于 2014-6-27日向中国国家知识产权局申请专利，于2017年10月31日，获得授权。本发明提供了一种分布式文件系统。将大文件和小文件分开存储，大文件进行分块存储在大文件存储服务器上，小文件则存储在缓存服务器上，有效提高大小文件的读写效率。

本方案对访问量大的大文件进行缓存，实际上大文件已经分块处理且分布式存放，其访问效率已经很高；而通常情况下，小文件在整个系统文件中的占有比非常高，使用频率也比大文件高，因此必须对小文件进行高访问量的缓冲处理，但该方案没有提供。

分布式文件系统中，最有名的商业系统就是谷歌的GFS，其开源实现HDFS 更是得到了广泛的研究和应用。HDFS使用中也存在一些问题，譬如单Master 节点，所有文件的请求都经过它，即成为瓶颈，也导致了单点失效；另外， Namenode将文件系统的元数据存放到内存中，每个小文件都需要占据150字节左右的空间，大量小文件对内存消耗过大，现有硬件对数以亿计或更多的小文件处理则捉襟见肘。

发明内容

1.要解决的技术问题

针对现有技术中存在的问题，本发明的目的在于提供一种可靠高效的分布式文件系统，与现有技术相比，本发明提出的分布式文件系统方案，能够很好的处理单点失效问题，并能利用系统中的内存缓存层，极大的提升系统对于小文件的读取效率。

2.技术方案

为解决上述问题，本发明采用如下的技术方案。

一种可靠高效的分布式文件系统，包括日志模块，系统控制模块和存储模块，所述日志模块包括日志记录，所述系统控制模块包括主控节点、备用节点和主备模式进程，所述主控节点与备用节点之间通过主备模式进程连接，所述存储模块包括磁盘和内存缓存层，所述日志记录分别与主控节点和备用节点连接，所述系统控制模块分别与内存缓存层和磁盘连接，所述系统控制模块还连接有多个存储节点，本发明提出的分布式文件系统方案，能够很好的处理单点失效问题，并能利用系统中的内存缓存层，极大的提升系统对于小文件的读取效率。

进一步的，所述主备模式进程切换的判定条件是主控节点收到检测数据包后1s内是否有回应，1s内无回应则主备模式进程将主控节点切换成备用节点，将备用节点切换成主控节点。