[发明专利]一种分布式文件系统中的并发写入方法及装置

说明书

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种分布式文件系统中的并发写入方法及装置。

背景技术

随着互联网和多媒体产业的迅猛发展，海量的媒体文件存储对存储技术和系统提出了更高的要求。为保证高可靠性、大容量和性价比，IT厂商和互联网服务商通常采用分布式文件系统来存储数据。分布式文件系统采用冗余存储的方式来保证存储数据的可靠性，以高可靠软件来弥补硬件的不可靠，从而提供廉价可靠的海量分布式存储和计算系统。

如图1所示，在分布式文件系统中，一般主要包括元数据服务器、文件存储服务器和文件访问服务器，其中：元数据服务器主要负责管理文件路径、文件名称等信息，以及文件数据块在文件存储服务器上的分布情况；文件存储服务器主要负责管理文件数据块在本地硬盘上的存储，通常是在硬盘上创建本地文件系统，然后将数据块作为文件保存在本地硬盘上；文件访问服务器(即客户端)负责提供用户访问接口，通过与元数据服务器交互元数据信息，以及与文件存储服务器交互数据块信息，为用户提供文件访问服务。

在上述的实现模式下，分布式文件系统的性能常常受到本地文件系统性能的很大影响。其原因在于，本地文件系统在进行数据块的文件存储时，虽然可以保证文件名称的连续分配，但不能保证数据块文件在硬盘扇区的连续存放。一般来说，对硬盘扇区的随机读写性能很差，而顺序读写性能很好。

综上所述，当分布式文件系统提供文件并发写入时，如何控制文件存储服务器上并发写入数据块的分布连续，以提升文件存储服务器上硬盘的写入速度，是现有技术中急需解决的技术问题。

发明内容

本发明解决的技术问题是提供一种分布式文件系统中的并发写入方法及装置，能够大幅提升分布式文件系统的文件并发写入性能。

为解决上述技术问题，本发明提供了一种分布式文件系统中的并发写入方法，

元数据服务器维护文件存储服务器的存储资源信息；

所述元数据服务器接收到多个文件访问服务器并发的写入请求时，根据维护的所述存储资源信息为所述并发写入的数据分配相邻的存储地址。

进一步地，所述方法还包括：

所述元数据服务器将为所述并发写入的数据分配的相邻的存储地址包含在元数据信息中发送给文件存储服务器；

所述文件存储服务器接收到文件访问服务器发送的请求写入的数据块时，缓存到数据块写入队列中；并根据所述元数据信息中包含的所述存储地址对所述数据块写入队列中的数据块进行排序，待满足写入条件时，将所述数据块写入队列中存储地址相邻的数据块依序写入硬盘。

进一步地，所述存储资源信息，包括：文件存储服务器信息，文件存储服务器的硬盘信息以及硬盘物理块信息；

所述元数据服务器为所述并发写入的数据分配的所述相邻的存储地址，具体为：同一个文件存储服务器的同一个硬盘中的连续硬盘物理块地址。

进一步地，所述满足写入条件，具体包括：

对所述数据块写入队列中的数据块进行排序时，若存储地址相邻的数据块达到预先设定的数目阈值、或者超出预先设定的时间间隔，则判定满足写入条件。

进一步地，所述元数据服务器维护文件存储服务器的存储资源信息，具体包括：

对同一个硬盘上的空闲硬盘物理块，将地址连续的按顺序排列，形成地址簇；

并对间隔的地址簇按照所包含的空闲硬盘物理块的数目进行降序排列。

进一步地，所述元数据服务器为所述并发写入的数据分配相邻的存储地址，包括：从包含的空闲硬盘物理块数目最多的地址簇中选取连续的硬盘物理块地址。

进一步地，所述元数据服务器维护文件存储服务器的存储资源信息，还包括：

当硬盘上的硬盘物理块释放时，所述元数据服务器对空闲硬盘物理块和地址簇进行更新。

此外，本发明还提供了一种分布式文件系统中的并发写入装置，所述装置包括元文件服务器中的存储资源管理模块和并发写入处理模块，其中：

所述存储资源管理模块用于，维护文件存储服务器的存储资源信息；

所述并发写入处理模块用于，接收到多个文件访问服务器并发的写入请求时，根据所述存储资源管理模块维护的所述存储资源信息为所述并发写入的数据分配相邻的存储地址。

进一步地，所述装置还包括文件存储服务器中的数据块写入模块，

所述并发写入处理模块还用于，将为所述并发写入的数据分配的相邻的存储地址包含在元数据信息中发送给所述文件存储服务器；