[发明专利]分布式文件系统日志改进方法、系统、设备和存储介质

说明书

本发明提出了分布式文件系统日志改进方法、系统、设备和存储介质，该方法包括按照分布式文件系统的使用情况，将分布式文件系统日志按照场景分类；对分类后的每个场景分别通过配置项配置日志开关；配置日志开关之后，分别对每个场景中流程代码的关键位置添加重要级别日志，以及根据所述日志开关的状态确定是否输出。以及通过分布式文件系统自带的动态生效命令进行动态调整，基于该方法，还提出了分布式文件系统日志改进系统、设备和存储介质。本发明解决HDFS使用和定位问题时的DEBUG日志冗余繁杂、无法快速找到有用信息的弊端，提升HDFS使用过程中出现问题时的定位效率，提升HDFS日志系统的可用性、易用性和实用性。

技术领域

本发明属于分布式文件系统日志管理技术领域，特别涉及分布式文件系统日志改进方法、系统、设备和存储介质。

背景技术

Hadoop实现的一个分布式文件系统(Hadoop Distributed File System)。HDFS作为一个比较成熟的分布式文件系统，在大数据技术体系中占据着重要位置。

但分布式文件系统的日志系统却不够灵活易用，在使用时比较困难。当前HDFS服务端的日志分级较少，完全依赖于Log4j中的日志级别，一共有TRACE、INFO、DEBUG、WARN、ERROR五级，默认打印的日志等级为INFO，调整打印日志等级时需要全局调整或单个类调整，全局调整时需要重启服务，因此在使用时面临以下问题：(1)日志打印级别默认为INFO，INFO级别日志无法获取到有用的日志信息，比如某些场景下需要查看上层应用调用了HDFS的哪个RPC接口，默认的日志级别则不会打印相关调用信息；(2)调整全局日志打印级别为DEBUG时，需要重新启动服务，影响业务正常使用；(3)开启全局DEBUG日志级别后，由于是全局调整，所以往往会打印很多无用的DEBUG级别信息，找到所需要的关键日志比较困难，并且会占用大量的存储空间；(4)使用调整单个类的日志级别时，由于代码调用往往涉及多个类的日志，所以单独调整时可用性较差。

发明内容

为了解决上述技术问题，本发明提出了分布式文件系统日志改进方法、系统、设备和存储介质。可以解决HDFS使用和定位问题时的DEBUG日志冗余繁杂、无法快速找到有用信息的弊端，提升HDFS使用过程中出现问题时的定位效率，提升HDFS日志系统的可用性、易用性和实用性。

为实现上述目的，本发明采用以下技术方案：

分布式文件系统日志改进方法，包括以下步骤：

按照分布式文件系统的使用情况，将分布式文件系统日志按照场景分类；

对分类后的每个场景分别通过配置项配置日志开关；

配置日志开关之后，分别对每个场景中流程代码的关键位置添加重要级别日志，以及根据所述日志开关的状态确定是否输出。

进一步的，所述方法还包括通过ReconfigurationServlet工具实现配置项变更，分别添加每个场景日志动态修改时的处理实现，然后通过分布式文件系统自带的动态生效命令进行动态调整。

进一步的，在所述日志改进之后还包括：

在服务器启动时读取配置文件中配置项，如果无配置项，则日志为关闭状态；

动态调整日志开关，执行参数动态调整命令；以及根据日志开关的状态决定是否打印日志。

进一步的，所述按照分布式文件系统的使用情况，将分布式文件系统日志按照场景分类具体包括：按照分布式文件系统的使用情况，将分布式文件系统日志按照场景分类为读场景、写场景和除读写之外的第三场景；

所述读场景包括元数据的获取文件信息、获取给定文件偏移和数据长度的所有数据块的数据节点，以及数据传输时读取指定块号的块到文件；