[发明专利]一种分布式数据存储系统和方法

说明书

技术领域

本发明一般涉及计算机软件及互联网技术领域，尤其是涉及一种分布式数据存储系统和方法。

背景技术

UGC(用户生成内容，Users Generate Content)是一种用户使用互联网的新方式，即由原来的以下载为主变成下载和上传并重。例如，社区网络、视频分享和博客等都是UGC的主要应用形式。随着全球互联网业务的不断发展，UGC业务正在日渐崛起，引起了业界的广泛关注。

由于数据是用户产生的，海量的用户催生出海量的数据，同时又会带来海量的读写量。如何存储这些数据，如何提供高并发的读写服务，是技术领域必然面临的问题。

图1示出了现有的分布式数据存储系统的系统架构100，包括存储标识(ID)分配系统(或者说ID放号系统)120和数据存储系统130。

存储标识分配系统120系统负责在存储请求方请求存储数据时为待存储的数据分配存储标识。存储标识分配系统120保证存储标识的全局唯一性，并让存储标识在某个或某些存储标识段(在某些号段范围)内有一定的随机性，一定程度上保证了数据存储系统130的负载均衡。

数据存储系统130负责数据的存储并提供读写服务，其包括接口机进程模块131、多个服务进程模块132和多个存储模块133。接口机进程模块用于接收存储请求方110发送的包含存储标识的读写、存储请求，并把读写、存储请求分发到对应的服务进程模块132上，同时把服务进程模块132的部署细节对外屏蔽掉；每个服务进程模块132负责某个或某些存储标识段内的数这些数据的读写服务，并在将数据成功存储后向存储请求110响应成功应答；存储模块133，用于根据服务进程模块132的指示存储、读写数据。

图2是现有技术的分布式数据存储方法200的示意性流程图。

参见图2，当增加一条新数据时，上述分布式数据存储方法包括如下步骤：

步骤210：存储标识分配系统为待存储的数据分配唯一的存储标识；

步骤220：存储请求方根据分配的存储标识提交包含数据的请求至接口机进程模块；

步骤230：接口机进程模块根据存储标识所属的存储标识段转发存储请求至对应的服务进程模块；

步骤240：服务进程模块根据存储标识指示存储模块存储数据，并向存储请求方响应成功应答。

另外，当读取一条数据时，上述分布式数据存储方法还可以包括如下步骤：存储请求方提交包含存储标识的读取请求至接口机进程模块，接口机进程模块根据存储标识所属的存储标识段分发写入请求至对应的服务进程模块，服务进程模块根据存储标识指示存储模块向存储请求方返回该数据。

进一步，当写入一条数据时，上述分布式数据存储方法还可以包括如下步骤：存储请求方提交包含存储标识和待修改内容的写入请求至接口机进程模块，接口机进程模块根据存储标识所属的存储标识段分发写入请求至对应的服务进程模块，服务进程模块指示存储模块写入修改的内容。

以上分布式数据存储系统具有如下不足之处：

1.耦合性高。数据存储系统对存储标识分配系统有依赖关系。首先，存储标识分配系统需要保证存储标识的均匀性和随机性，一旦存储标识分配系统的随机性被打破，可能导致某个服务进程模块所执行的进程因写请求量突增而被压垮；而且当存储标识分配系统出现单点故障时，整个分布式数据存储系统的存储请求都无法完成。

2.设计复杂。两个系统同等重要，为了保证对外的正常服务，两者都需要进行各种容灾设计。

3.耦合性和设计的复杂度直接导致运维成本增加。

4.针对新增请求，存在单点故障。当某个服务进程模块所执行的进程挂掉时，其针对所负责的存储标识段的新增请求会失败。

5.增加了带宽成本。每次新增数据时，都要先获取存储标识后才能进行实际存储，比直接存储多了一次交互，带宽成本倍增。

可见，需要有一种简单、高效、低成本的存储服务模型来解决上述技术问题，以便为用户提供稳定、高并发的海量数据存储、读写服务。而这样的存储服务模型也将为该技术领域带来意义深远的变革。

发明内容

有鉴于此，本发明提供了一种新分布式数据存储系统和方法，可以为用户提供稳定、高并发的海量数据存储、读写服务。

本发明的技术方案具体是这样实现的：