[发明专利]一种分布式文件系统中校验和同步数据块的方法及装置

说明书

技术领域

本发明属于数据存储领域，尤其涉及一种分布式文件系统中校验和同步数 据块的方法及装置。

背景技术

随着多媒体产业的迅猛发展，出于成本、可靠性等多方面的考虑，越来越 多的厂商选择在产品中部署自研的分布式存储系统，分布式文件系统也因此得 到了快速的发展。

在现有的分布式文件系统架构中，文件一般都被分割成多个数据块进行 存储；为了保证系统的健壮性及灾难恢复能力，数据块一般又会有多个备份分 别存放于不同的物理位置。这样就存在一个对这些数据块进行校验及同步的问 题，以保证这些数据块的一致性，即保证这些数据块中所存储的有效数据都是 相同的。现有这种架构的分布式文件系统中对这些数据块的校验和同步都是由 元数据服务器来发起和进行的。如果数据块达到一定数量，会导致元数据服务 器消耗大量的时间在数据块的校验和同步上面，影响了用户操作的响应速度， 从而对系统性能造成影响。尤其在IPTV等对实时性、用户体验要求较高的系统 中，元数据服务器在数据块的校验和同步上面消耗大量时间，将严重影响了用 户操作的响应速度和系统的性能。

发明内容

本发明的目的在于提供一种分布式文件系统中校验和同步数据块的方法及 装置，旨在解决现有技术下，分布式文件系统中元数据服务器在校验和同步数 据块时消耗大量时间，严重影响了用户操作的响应速度的问题。

本发明是这样实现的，一种分布式文件系统中校验和同步数据块的方法， 所述方法包括：

所述元数据服务器向所述主数据块服务器发起数据块校验请求；

所述主数据块服务器对其组内从数据块服务器管理的所有数据块信息进行 校验，再并根据校验结果进行同步，然后将校验和同步的结果上报给所述元数 据服务器；

所述元数据服务器根据上报的校验和同步的结果对元数据信息进行更新。

本发明的另一目的在于提供一种分布式文件系统中校验和同步数据块的装 置，分布式文件系统包括有元数据服务器、数据块服务器和存储媒介；元数据 服务器在同组数据块服务器中指定其中一个为主数据块服务器，其它的为从数 据块服务器；所述装置包括：

校验发起单元，用于向所述主数据块服务器发起数据块校验请求；

校验和同步单元，用于对所述主数据块服务器组内的从数据块服务器管理 的所有数据块信息进行校验，再并根据校验结果对主从数据块进行同步，然后 将校验和同步的结果上报给所述元数据服务器；

元数据信息更新单元，用于根据上报的校验和同步的结果对元数据信息进 行更新。

本发明的有益效果是，在校验和同步数据块的过程中只有很少部分由元数 据服务器处理，所占用元数据服务器的时间极少，从而保证了元数据服务器对 用户指令的反应速度及系统的性能。

附图说明

图1是现有技术提供的一种分布式文件系统的系统结构图；

图2是本发明实施例提供的一种分布式文件系统中校验和同步数据块的方 法流程图；

图3是本发明实施例提供的一种分布式文件系统中校验和同步数据块的具 体方法流程图；

图4是本发明实施例提供的一种分布式文件系统中检验和同步数据块的装 置结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，元数据服务器发起校验和同步数据块后，由元数据服 务器指定数据块服务器组中的一个数据块服务器作为主数据块服务器，该主数 据服务器收集组内的数据块信息并完成校验和同步，然后将结果上报元数据服 务器。这样，整个校验和同步数据块的过程仅占用元数据服务器极少量的时间， 从而保证了对用户指令的响应速度和系统的性能。

图1示出了现有技术提供的一种分布式文件系统的系统结构。该分布式文 件系统中包括有元数据服务器、数据块服务器和作为存储介质的磁盘。元数据 服务器指定同一组数据块服务器的其中一个作为主数据块服务器，及指定其余 的数据块服务器作为从数据块服务器。主数据块服务器管理的存储介质中数据 块称为主数据块，从数据块服务器管理的存储介质中存储的数据块称为从数据 块。该系统中各部分功能如下：