[发明专利]一种基于ceph的分布式存储元数据系统日志优化系统与方法

说明书

本发明提供了一种基于ceph的分布式存储元数据系统日志优化系统与方法，本发明通过采取新增共享日志的策略来解决性能瓶颈和数据不一致的问题，将一组由网络连接的ceph集群设备作为单个日志共享给数据中心的控制端，在客户端上运行的进程可以将数据添加到共享日志中，也可以从共享日志中读取任意位置的日志记录数据。本发明解决了ceph分布式系统规模较大时存在一定的日志保存问题，以一种更加合理的方式对全局的元数据信息进行管理，提升日志处理流程的性能，降低性能开销，并通过同步解决数据不一致的问题。

技术领域

本发明涉及分布式存储系统技术领域，特别是一种基于ceph的分布式存储元数据系统日志优化系统与方法。

背景技术

随着互联网业务量的增加、访问量和元数据流量的快速增长，分布式系统各个核心部分的处理强度也相对增大，使系统工作负载增大，在ceph系统中采用一致性CRUSH算法用于元数据分布的计算，在这个过程中，CRUSH算法将METADATE映射到一组MDS中，通过METADATE来划分元数据分区使每个METADATE管理的元数据区间相同，从而保证元数据能够均匀的分布在METADATE上。但是，在实际应用环境中，MDS作为分布式系统所有的元数据管理节点，METADATE只会按照CRUSH算法在MDS上进行伪随机分布，使得出METADATE分布并不能达到完美的均衡，造成有些MDS上分布的METADATE数量较多，有些MDS分布的METADATE数量较少的情况。因此元数据写入分布式文件系统的时候，带来了性能的额外开销，另外如果没有得到及时同步会造成数据不一致的问题。

发明内容

本发明的目的是提供一种基于ceph的分布式存储元数据系统日志优化系统与方法，旨在解决现有技术中元数据管理存在性能开销大以及数据不一致的问题，实现降低性能开销，并通过同步保证数据一致性。

为达到上述技术目的，本发明提供了一种基于ceph的分布式存储元数据系统日志优化系统，所述系统包括：

控制端接收模块，用于在业务端向MDS进行请求时分发进程任务；

用户空间模块，用于创建元数据目录树，并提供查询操作；

操作守护进程模块，用于对flog的请求对象判断是何操作，并对用户空间的元数据目录树进行元数据更新；

日志管理模块，用于对控制端接收模块接收到的业务端请求信息，以及将序列化后的日志提交给操作守护进程模块进行处理；

flog查询模块，用于将日志管理模块提供的日志序列号从共享日志读取到日志记录并交由日志管理模块以及向flog模块查询共享日志的末尾位置序列号；

flog模块，用于存储封装为日志记录的元数据操作信息，并通过定序器对日志记录分发日志序号。

优选地，所述flog模块以副本的存储方式存储在集群中。

优选地，所述日志记录以链表的形式进行追加，以指针的方式返回是否成功写入。

优选地，所述业务端请求最新元数据信息时，查询当前日志记录的末尾位置的序号，如果所述序号大于本地缓存值，则读取所有未读取的日志记录，并进行元数据目录树的更新。

优选地，所述控制端通过查询接口查询相应的元数据信息时，如果元数据信息的最后一次操作的日志序号大于业务端的日志序列号，则将最新的元数据信息返回给业务端，如果两者相同，则向业务端发送已确认最新的状态码。

本发明还提供了一种基于ceph的分布式存储元数据系统日志优化方法，所述方法包括以下步骤：

S1、封装元数据操作信息为日志记录，并通过定序器对日志记录分发日志序号，存储于集群中，并创建元数据目录树；