[发明专利]分布式存储方法及分布式存储系统

说明书

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种分布式存储方法及分布式存储系统。

背景技术

在安防监控领域，由于监控需要，监控数据如录像、图片需要进行不间断的存储。传统的构建于磁盘阵列(Redundant Arrays of Independent Disks，RAID)之上阵列产品往往只能做到磁盘级别的容错，无法做到整个节点级别的容错，如果整台阵列设备故障数据就会丢失。

现有技术中，利用分布式存储系统代替集中储存方式，分担存储负荷，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。但其仍有许多缺陷，例如，现有的基于Zookeeper(分布式的、开放源码的分布式应用程序协调服务)和HDFS(Hadoop Distributed File System)的分布式存储系统，使用Zookeeper组成全局Paxos(基于消息的一致性算法)服务负责分布式存储系统的主元数据节点的选举及租约维护，有如下缺陷：

1)Paxos服务和元数据节点分离的方式部署麻烦、维护不方便；

2)Paxos一致性算法不仅理解困难而且难以实现和应用。由于Paxos算法的细节难以全部被理解，因此开发人员无法完全实现并应用Paxos算法的全部功能，进而导致基于Paxos算法的分布式系统可靠性降低；

3)当全局Paxos服务或由元数据节点所组成的高可用集群(High Availability Cluster,HA集群)失效的情况下整个系统就会瘫痪，数据面临完全丢失的风险。

发明内容

本发明为了克服上述现有技术存在的缺陷，提供一种分布式存储方法及分布式存储系统，其能够避免元数据节点不可用时的数据丢失。

本发明提供一种分布式存储系统，包括：元数据服务器集群，包括多个元数据节点，各所述元数据节点储存元数据并控制对象数据的写入；以及数据服务器集群，包括多个数据节点，各数据节点上储存所述对象数据及对象元数据，所述对象元数据描述所述对象数据，其中，所述元数据服务器集群不可用时，由至少一个所述数据节点代理所述元数据节点控制所述对象数据写入所述数据节点。

优选地，所述数据节点具有节点信息，所述元数据包括集群元数据以及对象元数据，其中，所述数据节点的节点信息用于恢复所述元数据节点储存的集群元数据；以及所述数据节点中储存的对象元数据用于恢复所述元数据节点储存的对象元数据。

优选地，所述节点信息/所述集群元数据至少包括：所述数据节点的位置信息及所述数据节点的容量信息。

优选地，所述对象元数据至少包括：对象数据名称、对象数据大小、对象数据对应的时间以及对象数据在所述数据节点中的位置。

优选地，所述元数据服务器集群从所述多个元数据节点选举主元数据节点，并将所述多个元数据节点中除所述主元数据节点外的元数据节点作为从元数据节点，所述主元数据节点配置成向各所述从元数据节点同步所述元数据。

优选地，所述元数据服务器集群通过布置在各元数据节点内的RAFT一致性算法协议选举所述主元数据节点并同步所述元数据。

优选地，所述数据节点中储存的对象元数据至少包括：所述元数据服务器集群不可用时，由至少一个所述数据节点代理所述元数据节点控制所述对象数据写入所述数据节点所产生的对象元数据。

优选地，所述元数据服务器集群从不可用状态恢复成可用状态时，所述主元数据节点获取所述元数据服务器集群不可用时，根据代理所述元数据节点的至少一个数据节点储存在所述数据节点中的对象元数据同步至所述元数据节点以恢复所述元数据。

优选地，所述数据节点中储存的对象元数据还包括：所述元数据服务器集群可用时，由所述元数据节点控制所述对象数据写入所述数据节点所产生的对象元数据。

优选地，所述元数据服务器集群恢复可用后，所述元数据服务器集群重新从所述多个元数据节点选举主元数据节点，所述主元数据节点获取各所述数据节点的节点信息以及储存在所述数据节点中的对象元数据以恢复所述元数据，并将恢复的所述元数据同步至各所述从元数据节点。

优选地，还包括客户端，配置成：向所述数据节点写入所述对象数据。

优选地，所述客户端还配置成：在向所述数据节点写入所述对象数据前，获取所述集群元数据。

优选地，所述元数据服务器集群布置有奇数个元数据节点。