[发明专利]一种多副本存储快速校验一致性方法及其装置

说明书

本发明提供了一种多副本存储快速校验一致性方法及其装置，所述方法包括：S1、在系统空闲状态时，判断head文件的数据写入量，当head文件的数据写入数据达到存储组件容量的30％以上时，采用I/O重定向技术创建快照文件，继续写入数据的新的head文件作为空白对照的稀疏文件，计算快照文件哈希值并其作为扩展属性保存起来；S2、每隔预定时间对head文件进行一次快照操作，需要及时验证多副本数据的一致性时，将新的head文件的哈希值与快照文件的哈希值对比即可。本发明结合分布式块存储的特点，提出了一种基于快照技术的多副本一致性快速检测方法，将哈希值计算的任务分成多个时间段进行，避免影响系统正常的读写业务，提升了多副本存储校验一致性速度。

技术领域

本发明涉及分布式数据存储和数据校验技术领域，尤其涉及多副本存储快速校验一致性方法及其装置。

背景技术

现有的分布式存储系统中，绝大多数是通过多副本技术来提升系统可靠性、可用性、性能以及可扩展性。

多副本技术可以保证分布式存储系统中个别主机和磁盘发生故障时，系统还能提供正常的读写服务，提高系统的可靠性，多个副本可以用于分流和加快响应时间。但分布式存储系统都是通过网络通信，网络的不稳定性容易造成后端数据不一致，并且分布式存储系统一般包含较多的服务器主机和磁盘数量，硬件损坏的概率也比较高。如果不能快速检测副本的一致性，分布式存储系统的数据完整性和高可用性就大大降低。

现有校验一致性方法主要是计算文件的哈希值，并对比多个副本文件的哈希值是否一致来判断文件是否数据一致。但如果对于大型文件，计算哈希值将消耗大量的CPU和磁盘带宽，严重影响系统的性能。文件不一致的位置往往比较少，但计算文件哈希值需要读取整个文件的内容，造成巨大资源的浪费。

发明内容

为解决以上问题，本发明提供了一种基于稀疏文件的快速文件哈希计算方法和基于快照技术的多副本一致性快速检测方法。

本发明提供了一种多副本存储快速校验一致性方法，包含以下步骤：

S1：在系统处于空闲状态时，判断head文件的数据写入量，当head文件的数据写入量达到存储组件容量的30％以上时，采用I/O重定向技术创建一次快照文件，继续写入数据的新的head文件作为空白对照的稀疏文件，计算快照文件的哈希值，把哈希值作为快照文件的扩展属性保存起来；

S2：每隔预定时间对head文件进行一次快照操作，如果发生异常情况，需要及时验证数据的一致性时，只需计算新的head文件的哈希值，并将新的head 文件的哈希值与快照文件的哈希值对比，以此校验多副本存储时数据的一致性。

优选地，所述方法还包括：

S3：对多个快照文件进行合并，并重新计算合并后的快照文件的哈希值，把哈希值作为合并后的快照文件的扩展属性保存起来。

优选地，所述存储组件包括head文件和对应的快照文件，head文件和快照文件都是大小相等的稀疏文件。

优选地，所述哈希值计算方法包括以下步骤：

SS1，利用lseek函数调用，获取整个head文件数据段信息；

SS2，把每个数据块的偏移量和数据长度结合起来作为head文件信息和head 文件数据一起作为哈希函数的输入，输出得到head文件的哈希值。

优选地，所述存储组件的读写方法包括：

写I/O写入到head文件，读I/O先判断head文件是否存在数据，如果存在，进入S01，如果不存在，进入S02，直至读到数据或者到最底层快照文件；

S01，读取数据并返回，

S02，判断下一级快照文件是否存在数据；