[发明专利]一种基于版本矢量的数据索引方法及服务器

说明书

技术领域

本发明涉及云计算和云存储系统中数据同步、数据备份的方法，属于计算机信息存储技术领域，广泛适用于在线存储、云存储服务、数据备份、数据归档、数据复制、异地容灾、存储管理等系统。

背景技术

在当今信息化时代，随着电子商务应用的加速，数据已经成为人们最重要的财富。人们在日常生活和工作中使用计算机产生的各种数据，却时刻面临着病毒感染、硬件故障、软件错误、设备丢失等难以预测的意外，以及黑客攻击、误操作等人为因素的威胁。数据安全已经成为信息时代的一大隐患，而数据备份自然也就成为一种重要预防手段。

在数据备份领域，数据总是在变化过程中产生无数的版本，备份系统必须真实记录数据的变更历史。如果对文件系统中每个文件的每次修改都生成一个“快照”，这不仅占用了大量的存储空间，而且随着数据量的增加，备份时间越来越长，备份效率也明显降低。对异地备份、在线备份或云备份而言，由于受到带宽、

存储空间和通信链路时延等因素局限性的制约，此种数据备份方式显然行不通。

云备份或者在线备份是一种新型的云存储服务，就是将本地数据复制到远程数据中心，此种类型的数据备份方式通常按照所使用的存储空间和数据流量计费。与传统的本地备份相比，云备份是以用户为中心，更加强调用户体验。备份过程中不能影响用户的操作，应尽量缩短备份时间，优化网络传输效率。为了确保备份数据的安全可靠，防止意外和人为误操作，云备份系统必须为所有需要备份的数据存储尽可能多的版本。即，此种数据备份方式需要保留备份数据的变更历史，这将造成云存储空间的巨大浪费，无形中增加了云存储的运营成本。

现有备份系统大都采用增量备份的方式，即仅将上次备份后发生了变更的数据复制到备份数据中心。增量备份要求本地和远程节点保留各自存储数据的元数据。有些备份系统只是简单地使用文件的修改时间作为元数据，通过比较上次备份的时间和文件的修改时间，只备份那些新修改的文件。显然这样的备份系统不仅容易产生人为的差错，而且无法甄别文件内的重复数据。为了弥补上述简单备份系统的不足，有些备份系统采用较为复杂的算法分析本地和远程节点文件内容并甄别文件内的重复数据，即重复数据删除技术简称去重或删冗技术。按照重复数据粒度，重复数据删除技术可分为文件级重复数据删除和数据块级重复数据删除。在数据备份领域，通常采用后者。

现有采用重复数据删除技术的备份系统通常在每次数据备份过程中相互交换待传输数据的数据块的哈希值，如果存储端已有哈希值对应的数据块，则无需传输该数据块，以尽可能地减少待传输的数据块的数量。然而此种类型备份系统中的备份过程之间相互独立，即每次备份过程都不会从之前的备份过程中获得相关信息，因此每次备份过程都需要对相同的文件进行重复切分和哈希计算，严重耗费本地资源。

发明内容

鉴于现有技术中存在的问题，本发明的目的是提出一种基于版本矢量的数据索引方法和服务器。

本发明提供了一种基于版本矢量的数据索引方法，其特征在于包括：

服务器端读取当前备份过程生成的数据，建立数据块哈希值和数据块位置之间的映射关系；

服务器端具有一个最新版本Ve，结合上次数据索引的版本Vi，确定本次索引的版本范围为[Vi,Ve]，并将哈希表和索引表载入内存完成初始化任务；

服务器端从元数据库中读取内有索引的所有版本文件，然后将与文件相关的信息加入到哈希表中，完成文件哈希索引，其中哈希表数据结构包括文件哈希值及版本标签。

优选的，其特征在于进一步包括：

服务器端将备份过程传来的数据文件与从元数据库中读取的内有索引的所有版本文件一起进行重新分块，并为所划分的数据块计算相应的哈希值，然后将数据块哈希值、版本标签、偏移量和数据块标识加入到索引表中。

优选的，其特征在于进一步包括：

服务器端对备份过程传来的重复数据的指针，读取元数据库中相应的数据块指针记录，并将数据块指针中的哈希值、版本标签、偏移量和数据块标识加入到索引表中。

优选的，其中所述哈希表数据结构还包括有文件指针标识，用于标识数据中的指针是文件指针还是数据块指针。

本发明还提供了一种可实现基于版本矢量的数据索引的服务器，其特征在于包括：

用于读取当前备份过程生成的数据，建立数据块哈希值和数据块位置之间的映射关系的模块；

用于根据服务器端具有的最新版本Ve，结合上次数据索引的版本Vi，确定本次索引的版本范围为[Vi,Ve]，并将哈希表和索引表载入内存完成初始化任务的模块；