[发明专利]一种数据写入方法、装置、数据处理方法、装置及系统

说明书

本申请公开了一种客户端的数据写入方法、装置及电子设备、一种块数据服务器的数据处理方法、装备及电子设备以及一种分布式文件系统。其中，所述客户端的数据写入方法，包括：向存储对应文件的块数据服务器发送执行追加写操作的请求；所述请求携带需要追加写入文件的数据；在满足需求后，向存储对应文件的所有块数据服务器并行发送执行提交操作的请求。采用上述方法解决了写文件和提交的延迟非常高，代价太大的问题，使每个块数据服务器在相同时间同时将数据写入到本地硬盘中，节约了时间，提高了系统的运算处理速度，从而提升了系统的吞吐率。

技术领域

本申请涉及计算机技术领域，具体涉及一种客户端的数据写入方法、一种块数据服务器的数据处理方法、一种分布式文件系统以及一种基于分布式文件系统的数据写入方法；本申请同时涉及一种客户端的数据写入装置及一种电子设备、一种块数据服务器的数据处理装置及另一种电子设备以及一种基于分布式文件系统的数据写入装置。

背景技术

随着信息技术的发展，存储数据在爆炸式的增长，本地的存储很难满足不断增长的海量存储的需要，加上个人移动计算和企业级的大规模计算对底层存储系统提出更高的要求，人们越来越多的使用分布式文件系统，例如：Google的核心存储平台GFS(googleFile System)。以GFS为典型代表的分布式文件系统采用的是服务器/客户端结构，主要组成部分包括主服务器master(元数据服务器)、块数据服务器chunk server和客户端client，三者之间通过各自的网络协议进行指令和数据通信。

GFS采用多文件副本的方式存储文件，即一个文件的数据拥有多个文件副本，分别存储在不同块数据服务器里。当一台或多台块数据服务器意外宕机时，这个文件的数据依然可用。多文件副本的方式大大提高了分布式文件系统的可靠性。当用户上传一个文件到分布式文件系统，只有指定的三个块数据服务器写入了文件副本。块数据服务器一般采用链式写文件的方法，客户端向第一台块数据服务器发送数据，第一台块数据服务器先把数据存储在缓冲区中，在把数据转发给下一台块数据服务器，然后等待下一台块数据服务器的响应。之后的所有数据服务器都是如此，数据逐个向后转发，直到最后一台块数据服务器把数据存储在缓冲区中后，创建接收成功的反馈信息并发给客户端，然后再由客户端向第一台块数据服务器发送提交命令，第一台块数据服务器接收到命令后把数据写到本地硬盘，然后把提交命令转发给下一台块数据服务器，直到最后一台块数据服务器把数据写到硬盘后，创建提交成功的反馈信息并发给上一台块数据服务器，上一台块数据服务器收到反馈信息并且自己已经写数据到硬盘，才能向上一台块数据服务器发送写成功的反馈信息。直到客户端收到写成功的反馈信息，则本次写操作完成。

由此可见，链式写文件的方式需要所有指定的块数据服务器都把文件数据写入到本地硬盘，然后由最后一台块数据服务器依次向前一台发送写成功与提交成功的反馈信息，直到客户端。虽然这种方式保证文件可以成功写入块数据服务器，但是写文件和提交的延迟非常高，代价太大，而且每个块数据服务器都在不同的时间写数据到本地硬盘，浪费时间，降低了系统的运算处理速度，影响系统的吞吐率。

发明内容

本申请提供一种客户端的数据写入方法、一种块数据服务器的数据处理方法、一种分布式文件系统以及一种基于分布式文件系统的数据写入方法，以解决现有技术中的上述问题。本申请同时涉及一种客户端的数据写入装置及一种电子设备、一种块数据服务器的数据处理装置及另一种电子设备以及一种基于分布式文件系统的数据写入装置。

本申请提供了一种客户端的数据写入方法，所述客户端的数据写入方法，包括：

向存储对应文件的块数据服务器发送执行追加写操作的请求；所述请求携带需要追加写入文件的数据；

在满足需求后，向存储对应文件的所有块数据服务器并行发送执行提交操作的请求。

可选的，在所述向存储对应文件的块数据服务器发送执行追加写操作的请求的步骤之前，还包括：

向主服务器发送需要写入数据的文件的名称；