[发明专利]一种日志处理方法及相关设备有效
申请号: | 201710405331.7 | 申请日: | 2017-05-31 |
公开(公告)号: | CN107169126B | 公开(公告)日: | 2021-01-15 |
发明(设计)人: | 张颖;方新 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F16/17 | 分类号: | G06F16/17;G06F16/182;G06F11/14 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;熊永强 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 日志 处理 方法 相关 设备 | ||
1.一种日志处理方法,其特征在于,所述方法应用于分布式文件系统,所述分布式文件系统包括元数据服务或客户端模块、对象存储模块、数据服务模块以及数据对象模块,所述数据服务模块包括日志客户端和日志代理组件,所述日志代理组件包括日志服务、日志合并以及日志记录,所述对象存储模块与分布在不同主机上的所述日志代理组件进行通信来处理伴生日志信息,包括:所述日志服务用于提供日志查询服务,所述日志合并用于冗余日志的收集与归并,所述日志记录为所述数据服务模块的内部日志记录者提供日志记录接口,所述方法包括:
所述元数据服务或客户端模块当发起数据或元数据的输入输出I/O操作时,获取I/O上下文,所述I/O上下文包括数据对象信息和所述伴生日志信息;
所述对象存储模块与所述数据服务模块通信,对所述伴生日志信息进行处理,并将处理后的所述伴生日志信息与所述数据对象信息一起写入所述数据对象模块中,所述伴生日志信息包括资源配额计数日志和配额标识;
当写入所述数据对象信息且确定存储资源增加或释放时,所述元数据服务或客户端模块下发所述资源配额计数日志;
所述对象存储模块将所述资源配额计数日志添加到所述数据对象模块中所述配额标识对应的计数器对象中。
2.如权利要求1所述的方法,其特征在于,所述对象存储模块与所述数据服务模块通信,对所述伴生日志信息进行处理,并将处理后的所述伴生日志信息与所述数据对象信息一起写入所述数据对象模块中包括:
所述对象存储模块将所述伴生日志信息转发给所述数据服务模块;
所述数据服务模块根据所述伴生日志信息的信息类型以及所述数据对象信息,确定对所述伴生日志信息处理方式,并按照所述处理方式将所述伴生日志信息写入到所述数据对象模块中。
3.如权利要求1所述的方法,其特征在于,所述对象存储模块与所述数据服务模块通信,对所述伴生日志信息进行处理,并将处理后的所述伴生日志信息与所述数据对象信息一起写入所述数据对象模块中之后,还包括:
所述对象存储模块与所述数据服务模块通信,获取所述数据对象模块中的所述伴生日志信息以提供查询或归档处理。
4.如权利要求1所述的方法,其特征在于,所述伴生日志信息还包括资源配额消耗值;
所述对象存储模块将所述资源配额计数日志添加到所述数据对象模块中所述配额标识对应的计数器对象中之后,还包括:
所述对象存储模块接收文件系统层发送的资源读取请求;
所述对象存储模块统计所述数据对象模块中的所有磁盘阵列上的所述配额标识对应的资源配额消耗值;
所述对象存储模块将统计的所述资源配额消耗值返回给所述文件系统层。
5.如权利要求1所述的方法,其特征在于,所述伴生日志信息包括快照跟踪日志和快照标识,所述方法还包括:
所述元数据服务或客户端模块当受快照保护的文件发生修改操作且在写入所述数据对象信息时,获取所述快照跟踪日志,所述快照跟踪日志包括修改操作前的快照版本与当前版本的差异;
所述对象存储模块将所述快照跟踪日志添加到所述数据对象模块中的所述快照标识对应的跟踪文件中。
6.如权利要求5所述的方法,其特征在于,所述对象存储模块将所述快照跟踪日志添加到所述数据对象模块中的所述快照标识对应的跟踪文件中之后,还包括:
所述对象存储模块读取所述数据对象模块上的所述快照标识对应的所述快照跟踪日志以对所述快照进行删除或回滚操作。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710405331.7/1.html,转载请声明来源钻瓜专利网。