[发明专利]一种基于分布式存储的数据恢复方法及装置

摘要

本发明公开了一种基于分布式存储的数据恢复方法及装置，其中，基于分布式存储的数据恢复方法包括分布式调度系统分批向若干数据存储客户端分发待存储数据，并监测各数据存储客户端的异常状态；在监测到数据存储客户端处于异常状态的情况下，查找处于正常状态的数据存储客户端；查询处于异常状态的存储客户端处理的上一批次待存储数据的数据标识；将上一批次后的待存储数据重新分发给处于正常状态的数据存储客户端。通过本发明提供的数据恢复方法，在不需要增加额外设备的基础上，保障数据写入的一致性和完整性；也不会因为存储客户端的异常影响正常的服务。

主权项

一种基于分布式存储的数据恢复方法，其特征在于，包括：步骤S101、分布式调度系统分批向若干数据存储客户端分发待存储数据，并监测各数据存储客户端的异常状态；步骤S102、在监测到数据存储客户端处于异常状态的情况下，查找处于正常状态的数据存储客户端；步骤S103、查询处于异常状态的存储客户端处理的上一批次待存储数据的数据标识；步骤S104、将上一批次后的待存储数据重新分发给处于正常状态的数据存储客户端；其中，当所述数据存储客户端将分布式调度系统分批分发的待存储数据成功提交给Hbase数据库时，在Hbase数据库中写入断点信息，所述断点信息包括：该批次的数据提交Hbase数据库提交成功的信息、提交数据的存储客户端的标识以及该批次数据的数据标识。