[发明专利]一种云计算平台的文件分布系统在审
| 申请号: | 201810760923.5 | 申请日: | 2018-07-12 |
| 公开(公告)号: | CN108959592A | 公开(公告)日: | 2018-12-07 |
| 发明(设计)人: | 郑向阳;钟送来 | 申请(专利权)人: | 广州市闲愉凡生信息科技有限公司 |
| 主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F3/06 |
| 代理公司: | 广州京诺知识产权代理有限公司 44407 | 代理人: | 冼启泰 |
| 地址: | 510000 广东省广州市南沙区黄阁镇麒麟新村(一期)麒天街13、1*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据资源 分布式文件系统 接收系统 客户端 云计算平台 处理系统 存储系统 分布系统 判断系统 存储 发送 目标存储区域 初始化模块 处理方式 存储数据 接收单元 命名空间 目标对象 数据块 访问 | ||
1.一种云计算平台的文件分布系统,其特征在于:所述文件分布系统包括接收系统、判断系统、处理系统、存储系统;
所述接收系统,用于接收分布式文件系统客户端发送的数据资源;所述接收系统包括接收单元,用于接收分布式文件系统客户端发送的数据资源的数据块ID和命名空间信息;所述接收系统包括初始化模块;
所述判断系统,用于根据所接收的数据资源判断所述分布式文件系统客户端所要访问的目标对象;所述判断系统包括判断写入模块;
所述处理系统,用于对所接收到的的数据资源进行处理;所述处理系统包括写操作模块、判断批次模块和判断完成模块;
所述存储系统,用于将处理后的数据资源存储到相应的目标存储区域;所述存储系统包括存储模块和保存模块;
所述存储模块包括:
多个存储节点、多个接入节点、元数据服务器;存储节点与接入节点一一对应;其中,
接入节点,分别设置有相应的逻辑节点号LUN,用于接收到数据存储请求时,完成存储数据的挂载,通过接入节点的LUN建立与分布式文件系统中映射的文件的访问连接;
元数据服务器,用于将接入节点的LUN映射成分布式文件系统的至少一个文件,并记录映射关系,将映射关系加入到元数据信息中;根据元数据信息,确定将存储的数据根据LUN写入映射的文件所对应的存储节点;
存储节点,用于将存储的数据存储在分布式文件系统映射的文件所对应的存储节点的存储空间。
2.根据权利要求1所述的一种云计算平台的文件分布系统,其特征在于:所述元数据服务器,还用于根据存储在分布式文件系统映射的文件的数据切片和数据分布信息,更新元数据信息。
3.根据权利要求2所述的一种云计算平台的文件分布系统,其特征在于:所述元数据信息还包括:分布式文件系统中相应的映射文件分片的数量、偏移量、分布、副本和存储策略,存储接入节点的状态和维护信息。
4.根据权利要求3所述的一种云计算平台的文件分布系统,其特征在于:所述分布式文件系统还包括读取服务器,用于根据元数据信息,获取存储数据所在的分布式文件系统映射的文件的数据切片和数据分布;通过LUN对应的块存储节点的接入节点的进行数据读取。
5.根据权利要求4所述的一种云计算平台的文件分布系统,其特征在于:元数据服务器还用于,根据元数据信息进行分布式文件系统及块存储节点的调度、对系统内存储介质进行状态维护和容量调整。
6.根据权利要求1所述的一种云计算平台的文件分布系统,其特征在于:
所述初始化模块进行初始化,读入程序的配置信息,记录第一个批次开始的时间;
所述保存模块打开分布式文件系统中的一个或多个文件,对于频繁读写的文件,将文件句柄和对应的文件名称保存在内存中;
所述判断写入模块判断是否有需要连续写入的数据内容,如果有,将准备连续写入的多个字符串拼接成一个长字符串,将长字符串一次性写入分布式文件系统的文件;否则,直接将数据写入分布式文件系统的文件;
所述写操作模块对文件进行写操作,根据保存模块在内存中记录的内容,按照文件名称找到对应的文件句柄,直接进行写入操作,把数据写入分布式文件系统文件中;
所述判断批次模块采集获取当前时间,判断是否到达预设的批次时间,如果到达预设的批次时间,调用分布式文件系统的刷数据接口,将写入分布式文件系统缓存的数据刷到磁盘上,否则,进行下一个循环的数据写入;
所述判断完成模块判断对应文件的数据是否写完,如果写完,关闭该文件;否则,将当前时间置为下一个批次的开始时间,进行下一个循环的数据写入。
7.根据权利要求1所述的一种云计算平台的文件分布系统,其特征在于:所述存储系统还包括存储引擎,所述存储引擎包括Pigeon FlexObject和PigeonList。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州市闲愉凡生信息科技有限公司,未经广州市闲愉凡生信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810760923.5/1.html,转载请声明来源钻瓜专利网。





