[发明专利]分布式文件写入方法、装置、计算机设备、系统在审
申请号: | 202211681501.1 | 申请日: | 2022-12-27 |
公开(公告)号: | CN116049129A | 公开(公告)日: | 2023-05-02 |
发明(设计)人: | 杨鹏;宫凤明;邵继旺;王森;张新凤 | 申请(专利权)人: | 曙光信息产业(北京)有限公司 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/16;G06F3/06 |
代理公司: | 华进联合专利商标代理有限公司 44224 | 代理人: | 杨明莉 |
地址: | 100089 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 文件 写入 方法 装置 计算机 设备 系统 | ||
1.一种分布式文件写入方法,其特征在于,所述方法应用于分布式文件系统的输入输出节点,所述分布式文件系统还包括多个计算节点;所述方法包括:
接收各计算节点发送的携带有待写入数据的写请求;其中,所述计算节点为所述分布式文件系统中的计算节点;
确定各所述待写入数据的写入地址区间,并确定每个所述待写入数据的写入地址区间对应的页面;
针对每一所述页面,根据所述页面对应的各所述待写入数据的地址区间,将所述页面对应的各所述待写入数据进行聚合,得到所述页面的聚合数据;
将所述聚合数据写入磁盘中所述页面对应的存储空间。
2.根据权利要求1所述的方法,其特征在于,所述针对每一所述页面,根据所述页面对应的各所述待写入数据的地址区间,将所述页面对应的各所述待写入数据进行聚合,得到所述页面的聚合数据,包括:
针对每一所述页面,将所述页面对应的各所述待写入数据缓存至所述页面对应的目标缓存队列中;
在确定所述页面符合第一回写条件的情况下,根据所述目标缓存队列缓存的多个所述待写入数据的地址区间,将多个所述待写入数据进行聚合,得到所述页面的聚合数据。
3.根据权利要求1所述的方法,其特征在于,所述针对每一所述页面,根据所述页面对应的各所述待写入数据的地址区间,将所述页面对应的各所述待写入数据进行聚合,得到所述页面的聚合数据,包括:
根据所述待写入数据的地址区间,将所述待写入数据的地址区间加入至地址区间聚合树;
根据所述地址区间聚合树,将所述地址区间聚合树中的各个地址区间对应的待写入数据按照预设规则进行聚合;
在聚合出所述页面对应的聚合数据情况下,将所述聚合数据缓存至页面缓存队列;
所述将所述聚合数据写入磁盘中所述页面对应的存储空间,包括:
读取所述页面缓存队列中各页面的聚合数据,将各页面的聚合数据写入磁盘中所述页面对应的存储空间。
4.一种分布式文件写入方法,其特征在于,所述方法应用于分布式文件系统中的计算节点,所述分布式文件系统还包括若干其它计算节点、至少一个输入输出节点,其中,一个页面对应于一个所述输入输出节点;所述方法包括:
确定写请求针对的地址区间,并确定所述地址区间对应的页面;
将所述写请求发送至所述页面对应的输入输出节点,以使所述输入输出节点根据所述写请求针对的地址区间以及其他计算节点发送的写请求针对的地址区间,对多个写请求携带的待写入数据进行聚合,并将得到的聚合数据并写入磁盘中所述聚合数据对应页面对应的存储空间。
5.根据权利要求4所述的方法,其特征在于,所述将所述写请求发送至所述页面对应的输入输出节点,包括:
将所述写请求对应的待写入数据缓存至所述页面对应的缓存队列中;
在确定所述页面符合预设的第二回写条件的情况下,将所述页面对应的缓存队列的各个写请求对应的待写入数据进行聚合,得到所述页面的初步聚合数据;
将所述初步聚合数据发送至所述页面对应的输入输出节点。
6.一种分布式文件写入装置,其特征在于,所述装置应用于分布式文件系统的输入输出节点,所述分布式文件系统还包括多个计算节点;所述装置包括:
接收模块,用于接收各计算节点发送的携带有待写入数据的写请求;其中,所述计算节点为所述分布式文件系统中的计算节点;
确定模块,用于确定各所述待写入数据的写入地址区间,并确定每个所述待写入数据的写入地址区间对应的页面;
聚合模块,用于针对每一所述页面,根据所述页面对应的各所述待写入数据的地址区间,将所述页面对应的各所述待写入数据进行聚合,得到所述页面的聚合数据;
写入模块,用于将所述聚合数据写入磁盘中所述页面对应的存储空间。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于曙光信息产业(北京)有限公司,未经曙光信息产业(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211681501.1/1.html,转载请声明来源钻瓜专利网。