[发明专利]分布式数据存储方法及分布式数据集群系统

说明书

技术领域

本发明涉及计算机网络技术领域，具体涉及一种分布式数据存储方法及分布式数据集群系统。

背景技术

分布式数据存储系统就是将数据分散存储在多台独立的设备上。传统的数据存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式数据存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

分布式数据存储系统为具有很多数据节点的集群系统，每个数据节点可以理解为一个数据存储服务器。例如，集群系统具有6个数据节点，每个数据节点相当于一个物理的服务器，本文称为数据节点服务器。在做数据存储时，将若干条数据存储到对应的数据节点中，这是分布式数据存储系统核心的概念。

在分布式数据存储技术中还有复制的概念。集群系统作为一个整体，对外要保证其高可用性，集群中某些数据节点的损坏不会影响对外的服务。为了满足高可用性的目的，需要做复制。将一条数据在集群中放置多份，即多份冗余。当某一份数据出现问题或某个数据节点出现问题时，可以采用其它的份来补足，使得这个服务能继续进行。

现有的分布式数据存储策略是，当接收到多条数据时，将这些数据全部存储到某一个数据节点上，并将这些数据的其它备份分别存储到其它数据节点上。举例来说，对于数据节点Node_1，Node_2和Node_3，复制是将Node_1中多条数据分别镜像到Node_2和Node_3，Node_1，Node_2和Node_3的数据具有相关性。若Node_3出现问题，需要Node_1，Node_2来进行替换，帮助Node_3完成它需要完成的工作。由于数据具有相关性，Node_3的工作都分摊给了Node_1和Node_2，这样所出现的问题是：当Node_3宕机时，Node_4，Node_5和Node_6感觉不到Node_3宕机，只有Node_1和Node_2具有这个压力。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的分布式数据集群系统和相应的分布式数据存储方法。

根据本发明的一个方面，提供了一种分布式数据存储方法，包括：

接收待存储的至少两条数据；

将所述至少两条数据中的第一条数据的正本以及K份副本分别存储到N个数据节点服务器中的第一组K+1个数据节点服务器中，其中所述第一组K+1个数据节点服务器中每一数据节点服务器存储所述第一条数据的正本以及K份副本其中之一；以及

将所述至少两条数据中的第二条数据的正本以及K份副本分别存储到所述N个数据节点服务器中的第二组K+1个数据节点服务器中，其中所述第二组K+1个数据节点服务器中每一数据节点服务器存储所述第二条数据的正本以及K份副本其中之一；

其中，所述第一组K+1个数据节点服务器与所述第二组K+1个数据节点服务器不完全相同，K为大于或等于1的整数，N为大于K+1的整数。

根据本发明的另一方面，提供了一种分布式数据存储方法，包括：

接收待存储的M条数据，M为大于1的整数；

将M条数据分为N组数据，将所述N组数据的正本分别存储到N个数据节点服务器中，N为大于1的整数，且每一组数据的正本仅存储在一个数据节点服务器中；

对于存储第i组数据的正本的第i个数据节点服务器，i∈[1,N]，将所述第i组数据分为D个分组的数据，D为大于或等于1的整数，将每个分组中所有数据的K份副本分别存储到所述N个数据节点服务器中除了第i个数据节点服务器以外的任意L个数据节点服务器中，且分组中每一条数据的任意两份副本不在同一数据节点服务器中，K为大于或等于1的整数，L不小于K，且N不小于K+1。

根据本发明的另一方面，提供了一种分布式数据集群系统，包括：多个数据节点服务器；以及

数据接收器，适于接收待存储的至少两条数据；