[发明专利]一种日志处理方法及相关设备

说明书

本申请实施例公开了一种日志处理方法及相关设备。所述方法应用于分布式文件系统，所述分布式文件系统包括元数据服务或客户端模块、对象存储模块、数据服务模块以及数据对象模块，包括：所述元数据服务或客户端模块当发起数据或元数据的输入输出I/O操作时，获取I/O上下文，所述I/O上下文包括数据对象信息和伴生日志信息；所述对象存储模块与所述数据服务模块通信，对所述伴生日志信息进行处理，并将处理后的所述伴生日志信息与所述数据对象信息一起写入所述数据对象模块中。采用本申请实施例，更加容易实现文件元数据和数据操作相关的增值业务，保持伴生日志信息与I/O操作事务的一致性，以及提高伴生日志信息的可靠性。

技术领域

本申请涉及文件系统领域，尤其涉及一种日志处理方法及相关设备。

背景技术

在分布式文件系统中，存在一些操作频繁、操作记录需要持久化保存、操作记录内容简短、且可以归并为同一对象集合处理的操作，例如，配额(Quota)特性、快照特性、文件变更日志特性等。这些业务特性要求在修改元数据对象的同时，需要记录一条伴生日志信息。伴生日志信息必须具有可靠性，不能丢失；伴生日志信息同修改元数据对象的动作具备原子性，元数据对象操作成功，则伴生日志信息记录成功；如果元数据对象操作失败，则伴生日志信息记录失败，伴生日志信息的创建和记录是数据对象I/O操作的伴生行为，不会脱离I/O操作单独实现。

在现有技术方案中，本地文件系统上Quota特性实现，基本思路是对于一个Quota配置存在一个Quota文件，当与Quota配置相关的目录和文件有操作时，该目录或文件的空间累计使用情况会记录在节点(node)信息中，这些node信息会定期同步到Quota文件中。定期同步就避免了即时同步对Quota文件的频繁操作，同时会有独立的进程对Quota信息进行资源的分配和限制。分布式文件系统上Quota特性实现，基本思路就是配备高性能、高可靠性的数据库保存Quota信息；或者通过独立线程来管理归并Quota记录。

但是，对于分布式文件系统，通过Quota文件和Quota进程实现方式已经不适用，分布在集群不同host主机上的node信息、和Quota文件之间要增加通信信道完成信息同步，并且分布式文件系统的文件存储量更大，文件操作更频繁，这样就会形成瓶颈，无法做到操作和Quota记录同步。

发明内容

本申请实施例所要解决的技术问题在于增值业务不易实现以及操作无法保持同步，提供一种日志处理方法及相关设备。

第一方面，本申请实施例提供了一种日志处理方法，所述方法应用于分布式文件系统，所述分布式文件系统包括元数据服务或客户端模块、对象存储模块、数据服务模块以及数据对象模块，包括：所述元数据服务或客户端模块当发起数据或元数据的输入输出I/O操作时，获取I/O上下文，所述I/O上下文包括数据对象信息和伴生日志信息；所述对象存储模块与所述数据服务模块通信，对所述伴生日志信息进行处理，并将处理后的所述伴生日志信息与所述数据对象信息一起写入所述数据对象模块中。从而更加容易实现文件元数据和数据操作相关的增值业务，保持伴生日志信息与I/O操作事务的一致性，以及由于可以在数据对象模块的同HOST上的多个磁盘保存多份伴生日志信息，因此提高伴生日志信息的可靠性。

在一种可能的设计中，所述对象存储模块将所述伴生日志信息转发给所述数据服务模块；所述数据服务模块根据所述伴生日志信息的信息类型以及所述数据对象信息，确定对所述伴生日志信息处理方式，并按照所述处理方式将所述伴生日志信息写入到所述数据对象模块中。

在另一种可能的设计中，所述对象存储模块与所述数据服务模块通信，对所述伴生日志信息的进行处理，并将处理后的所述伴生日志信息写入到所述数据对象模块中之后，所述对象存储模块与所述数据服务模块通信，获取所述数据对象模块中的所述伴生日志信息以提供查询或归档处理。