[发明专利]一种基于多数派数据存储方法、装置及系统

说明书

本发明公开了一种基于多数派数据存储方法、装置及系统，在该方法中，前端服务器可根据接收到的文件上传请求从第一预设值个数的文件组中选取一个文件组，将接收到的文件中的数据分别上传至选取的文件组对应的第二预设值个数的存储单元上，在确定文件中的数据上传完成，并接收到大于等于第三预设值个数的存储单元返回的文件物理信息时，则数据写入成功，再将文件中的元数据信息更新至数据库，此时，返回文件上传请求成功。本发明所述技术方案，通过采用多数派成功方法写入文件，不会出现单点问题，且任意少数派的副本设备出现故障，都不会造成数据丢失，另服务器采用流式代理，将文件内容传输到各副本上，可减少磁盘IO占用。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种基于多数派数据存储方法、装置及系统。

背景技术

在大规模分布式存储系统中，设备的宕机、网络的异常和磁盘的故障随处可见，为解决这些异常情况，分布式存储系统往往会将数据冗余存储多份，每一份数据称为一个副本。这样当某个设备出现故障时，可以从其他的设备上访问到数据。同时当某个副本的数据丢失时，可以从其他副本恢复，保证了数据的可靠性。

由于写入数据时，需要写多副本，因此就需要一种方法如何写多个副本才算一次成功的请求。现有写入多副本的方法有：

1、暂存和异步分发方法

在接收处理客户端请求的设备上，将上传文件的全部内容接收并临时存储在该设备的磁盘，并更新对应的文件元数据信息，最后返回一个成功响应。与此同时，调度进程异步的将磁盘的临时文件分发写入多个存储设备，每一个存储设备上的数据作为该文件的一个副本，多个副本都同时写入成功后，再删除前端设备上的临时存储文件，若一次分发写入失败采用循环重试机制。这种方式的特点是，对于最近上传文件的访问采用N + 1方式，N为文件副本数，这种机制避免了在未分发写入完成之前，不能访问的问题。

2、写一主和多从方法

一个分布式系统集群中，文件被存储在一个分片中，系统中预先分配一定数量的分片，分片采用多副本的方式，分片的多个副本被存储在不同的存储机器上，多个副本采用某种算法(如paxos算法)选举出一个主，当原来的主宕机或者失联时，选举算法再选择一个主，主负责分片的写入操作。这种方式的特点是，对于一个文件的写入请求，按照一定的策略(如hash策略)将文件写入到某个分片上，写操作必须先写主分片，然后由主分片去写多个从分片，当大于等于N/2个从分片写成功后，再由主分片返回成功响应，N为从分数。

对于上述现有数据写入方式存在以下问题：

1、文件暂存在设备磁盘上，会出现单点问题，当文件还未分发到存储设备之前，若该设备宕机或者存储文件的磁盘出现故障，将会导致文件永久的丢失；

2、暂存接收文件写磁盘再异步分发，将导致暂存机器磁盘IO增大，当负载高时，将严重影响该设备的性能；

3、写主和多从方法，需要维护分片之间的主从关系，当主异常时，还未选举新的主之前，所有映射到该分片的写入操作都将失败。

因此，亟需提供一种防止文件丢失、提高数据写入成功率且不会出现单点问题以及减少磁盘IO占用的数据存储方法。

发明内容

本发明实施例提供了一种基于多数派数据存储方法、装置及系统，用以实现防止文件丢失、提高数据写入成功率且不会出现单点问题以及减少磁盘IO占用的效果。

本发明实施例提供了一种基于多数派数据存储方法，包括：

前端服务器接收文件上传请求，并根据所述文件上传请求从第一预设值个数的文件组中选取一个文件组，其中，每一文件组对应第二预设值个数的存储单元；

接收文件中的数据，并根据选取的所述文件组，将接收到的文件中的数据分别上传至选取的所述文件组对应的第二预设值个数的存储单元上；