[发明专利]分布式文件写入方法、装置、计算机设备、系统

说明书

本申请涉及一种分布式文件写入方法、装置、计算机设备、系统、存储介质和计算机程序产品。所述方法包括：接收分布式文件系统中各计算节点发送的携带有待写入数据的写请求，确定各待写入数据的写入地址区间，并确定每个待写入数据的写入地址区间对应的页面。针对页面，根据页面对应的各待写入数据的地址区间，将页面对应的各待写入数据进行聚合，得到页面的聚合数据，并将聚合数据写入磁盘中页面对应的存储空间。采用本方法能够提升多计算节点并发写的写入效率。

技术领域

本申请涉及分布式文件技术领域，特别是涉及一种分布式文件写入方法、装置、计算机设备、系统。

背景技术

在分布式文件系统中，多个计算节点可以并发写同一个文件的同一页面，为了保证数据的正确性，分布式文件系统通常会部署写入权限管理模块(也称之为分布式锁管理模块)，写入权限管理模块管理各个计算节点对各个页面的写入权限(也称之为分布式区间锁)，针对一个页面，同一时刻，只赋予一个节点对于该页面的写入权限。其中，系统在进行内存管理时，将内存分为很多个页面，一页的大小可为4KB、8KB、16KB等。

具体而言，计算节点A对某一文件的页面PageA进行写操作时，需要向写入权限管理模块先获取该文件的PageA的写入权限，获取到PageA的写入权限，然后对PageA的内容进行修改，计算节点A确认完成修改，写入权限管理模块回收计算节点A对PageA的写入权限，以使其他计算节点方可获取PageA的写入权限，对页面PageA进行读写操作。因此，多个计算节点并发写同一文件的同一页面时，分布式文件系统只能串行执行多个计算节点的写请求。

可见，上述分布式文件系统执行计算节点的写操作时，效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升多计算节点并发写入效率的分布式文件写入方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种分布式文件写入方法。所述方法应用于分布式文件系统的输入输出节点，所述分布式文件系统还包括多个计算节点；所述方法包括：

接收各计算节点发送的携带有待写入数据的写请求；其中，所述计算节点为所述分布式文件系统中的计算节点；

确定各所述待写入数据的写入地址区间，并确定每个所述待写入数据的写入地址区间对应的页面；

针对每一所述页面，根据所述页面对应的各所述待写入数据的地址区间，将所述页面对应的各所述待写入数据进行聚合，得到所述页面的聚合数据；

将所述聚合数据写入磁盘中所述页面对应的存储空间。

本申请提供的分布式文件系统写入方法，由于将多个计算节点的写请求携带的待写入数据进行聚合后写入磁盘，有效减少了磁盘的读出、写入的次数，并且，由于每个页面对应于一个输入输出节点，每个页面的写入权限被赋予一个输入输出节点，因此当多个计算节点针对同一页面并发写时，可由该页面对应的输入输出节点写入统一写入磁盘，有效提升了多计算节点并发写同一页面的写入效率。

在其中一个实施例中，所述针对每一所述页面，根据所述页面对应的各所述待写入数据的地址区间，将所述页面对应的各所述待写入数据进行聚合，得到所述页面的聚合数据，包括：

针对每一所述页面，将所述页面对应的各所述待写入数据缓存至所述页面对应的目标缓存队列中；

在确定所述页面符合第一回写条件的情况下，根据所述目标缓存队列缓存的多个所述待写入数据的地址区间，将多个所述待写入数据进行聚合，得到所述页面的聚合数据。

输入输出节点使用缓存队列缓存接收到的待写入数据，每个页面对应的待写入数据达到一定数量时再进行聚合。