[发明专利]基于分布式存储系统的数据存储方法及装置

说明书

技术领域

本申请涉及数据存储技术领域，特别是涉及基于分布式存储系统的数据存储方法及相应的装置。

背景技术

分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，不但提高了系统的整体可靠性和数据的可用性，还极大提高了存取效率。基于分布式存储系统的数据存储过程通常包括：存储请求端向分布式存储系统发送存储请求，分布式存储系统接收到存储请求后，按照预设策略分配存储服务器，然后将分配的存储服务器的地址返回给存储请求端，由于存储请求端预先已经预定好存储数据与存储服务器的存储基元的对应关系，因此，存储请求端获得存储服务器地址后即可将待存储数据存储到分配的存储服务器的相应存储基元。从该存储过程可知，现有技术将数据存储到分布式存储系统的关键是分布式存储系统存储服务器的分配策略。通常的分配策略包括多种，比如根据存储请求轮流分配到存储服务器的轮询策略、根据存储请求随机选择存储服务器的随机策略等。但是，这些存储服务器分配策略的问题是根据存储请求端的需要进行存储服务器分配，且分配级别处于存储服务器级，未考虑存储服务器端的状况，不能较好地实现分布式存储系统的存储均衡。此外，在某些情况下，即便存储服务器出现问题，也有可能会被分配用于存储数据，这势必导致数据存储操作失败，使相同数据必须再次或多次进行存储，从而降低了数据存储的整体效率。

发明内容

为解决上述技术问题，本申请实施例提供了基于分布式存储系统的数据存储方法及装置，以提高分布式存储系统的存储均衡能力。

本申请实施例提供的基于分布式存储系统的数据存储方法包括：

上报各存储基元所在存储服务器的负载信息，所述负载信息为存储服务器接收数据存储的能力信息；

根据所述负载信息按照第一预设策略生成各存储基元的权重；

接收存储请求后根据各存储基元权重按照第二预设策略分配存储基元；

将接收到的数据存储到分配的存储基元。

优选地，在上报各存储基元所在存储服务器的负载信息时，还上报各存储基元的存储容量使用信息，则：根据所述负载信息和存储容量使用信息按照第一预设策略生成各存储基元的权重。

进一步优选地，所述负载信息包括存储服务器的线程开启率、内存使用率，所述线程开启率为存储服务器当前开启的线程数与该存储服务器允许开启的最大线程数的比值，所述存储容量使用信息包括存储容量使用率，则：所述第一预设策略为：

存储基元的权重＝线程开启率+内存使用率+存储容量使用率。

进一步优选地，所述第一预设策略为：

存储基元的权重＝W1*线程开启率+W2*内存使用率+W3*存储容量使用率；

其中：所述W1、W2、W3取值范围为0到1，分别为存储服务器线程开启率、内存使用率、存储基元的存储容量使用率对存储基元权重的贡献值，W1、W2、W3之和为1。

优选地，将多个存储基元组成存储基元组，选择该组内的一个存储基元为主存储基元，则：在生成各存储基元的权重后，按照第三预设策略生成存储基元组的权重，接收存储请求后根据各存储基元组权重按照第二预设策略分配存储基元组，将接收到的数据通过主存储基元存储到分配的存储基元组的各存储基元。

进一步优选地，所述第二预设策略为：

以存储基元组的权重之和为种子，通过随机函数生成新的权重值，根据权重值所处权重区间分配存储基元组。

本申请实施例还提供了另一种基于分布式存储系统的数据存储方法。该方法包括：

接收存储请求后，收集各存储基元所在存储服务器的负载信息，所述负载信息为存储服务器接收数据存储的能力信息；

根据所述负载信息按照第一预设策略生成各存储基元的权重；

根据各存储基元的权重按照第二预设策略分配存储基元；

将接收到的数据存储到分配的存储基元。

本申请还提供了一种基于分布式存储系统的数据存储装置。该装置包括：上报单元、生成单元、分配单元和存储单元，其中：

所述上报单元，用于上报各存储基元所在存储服务器的负载信息，所述负载信息为存储服务器接收数据存储的能力信息；

所述生成单元，用于根据所述负载信息按照第一预设策略生成各存储基元的权重；

所述分配单元，用于在接收存储请求后根据各存储基元权重按照第二预设策略分配存储基元；

所述存储单元，用于将接收到的数据存储到分配的存储基元。