[发明专利]一种日志文件的异常检测与处理的方法与装置

摘要

一种日志文件的异常检测与处理的方法，包括如下1)BI日志服务器日志与数据源MD5异常监控与处理，(1)BI日志服务器日志与数据源MD5比对，检测是否异常；(2)处理BI日志服务器日志文件与数据源日志文件不一致的异常情况；2)BI日志服务器日志文件异常检测与处理，(1)检测BI日志服务器日志文件是否出现异常；(2)通过识别文件中的内容判断，当在该文件夹下有文件中存在非该文件夹日期下的记录，或文件中既存在该日期的又存在部分非该日期的记录，则日志文件出现打包错误；(3)BI日志服务器日志文件异常处理，当对BI日志服务器日志文件进行异常检测并发现异常后及时处理；3)HDFS文件异常检测与处理。

主权项

一种日志文件的异常检测与处理的方法，其特征是包括如下步骤：1）BI日志服务器日志与数据源MD5异常监控与处理，（1）BI日志服务器日志与数据源MD5比对，检测是否异常；运维打包挂载数据源日志文件与BI日志服务器下载日志时分别以相同的MD5加密方式给每个文件生成MD5值，并分别存至两张表中，通过数据源文件的MD5值与BI日志服务器原始日志文件的MD5值比对就能判断BI日志服务器日志是否与数据源文件一致，对于异常情况给出相应预警；（2）处理BI日志服务器日志文件与数据源日志文件不一致的异常情况，从数据源到BI日志服务器可能出现数据源异常、日志未挂到BI日志服务器、挂载的文件大小异常；对于数据源异常，需要联系运维相关维护人员及时解决；对于日志未挂载到BI日志服务器以及挂载的文件大小异常，则BI部门需及时查看修复程序，并重新挂载；2）BI日志服务器日志文件异常检测与处理，（1）检测BI日志服务器日志文件是否出现异常，即使BI日志服务器日志与数据源一致，仍有可能出现其他异常；文件数量异常：在业务不发生变化的情况下，每日的日志文件数量是固定的；当BI日志服务器上文件数量比以往出现偏多或偏少时，一方面是业务发生变化导致文件数量发生变化，另一方面也有可能是由于文件出现了命名或者打包错误，此时需结合文件命名错误、打包错误与人工判断，根据业务作出判断，对于异常情况给出相应预警；文件大小异常：文件大小异常是随着文件数量异常问题出现而存在的；通常为这个异常值设置一个阈值，当当日文件大小超过或低于比上一日的20%时给出预警提示，并结合文件数量一起判断是否出现异常；文件命名错误：文件名通常由业务主题、站点名、文件日期、打包时间组成，通过两种方法识别文件命名错误：（1）从文件名判断：当日凌晨打包的日志文件其业务发生时间通常都是前一日，此时文件名中的文件日期应为打包的前一日，若存在文件打包时间为当日凌晨且文件名上日期也为打包当日时则能判断文件命名错误；（2）通过识别文件中的内容判断：日志文件通常都记录了业务发生的时间，通过比对文件名中的日期与文件内容中的业务发生日期判断该日志文件是否命名错误；文件打包错误：文件打包错误是指将属于当天的日志文件打包到另外一天的文件中；日志文件打包后通常被放置在以业务发生日期命名的文件夹下；与文件命名错误类似，文件打包错误也有两种检测方法：（1）通过文件夹名判断；若某个不属于该文件名日期的文件被放至该文件下时则出现了打包错误；（2）通过识别文件中的内容判断， 当在该文件夹下有文件中存在非该文件夹日期下的记录，或者文件中既存在该日期的又存在部分非该日期的记录，则认为日志文件出现了打包错误；通常文件命名错误与文件打包错误都是随着文件数量异常同时存在，当判断文件数量出现异常且非业务变化原因而引起时，需人工结合文件命名错误和文件打包错误共同判断，对于异常情况给出相应的预警提示；（2）BI日志服务器日志文件异常处理，当对BI日志服务器日志文件进行异常检测并发现异常后需要及时处理；对于文件数量异常，需结合文件命名错误以及文件打包错误一起处理；当出现命名错误时需要对文件重新命名，当出现文件打包错误时需重新对日志文件进行打包；而文件大小异常则需结合文件数量异常判断，当文件数量正确时文件大小也会相应正常；3）HDFS文件异常检测与处理（1）HDFS文件异常检测日志文件从BI日志服务器PUT到HDFS上的过程中，会出现文件未PUT到HDFS或者HDFS上的文件不全的问题；将HDFS上的文件信息存至一张表中，通过与BI日志服务器表中的日志信息进行对比，能发现异常，若有异常，则给出预警信息；（2）HDFS日志文件异常处理对于HDFS文件异常，只需将日志文件从BI日志服务器重新PUT到HDFS即可解决；若重新PUT后还未解决，则是PUT程序有异常或者BI日志服务器上日志有异常，这种情况需结合上文BI日志服务器日志文件异常检测与处理解决；4）目标表数据量异常监控与处理日志文件的最终去处是经HADOOP程序解析到目标表中；因此，为确保最终的数据是完整并准确的，需对目标表的数据量进行监控，以便及时发现并修复HADOOP程序中可能出现的Bug；该步骤需将目标表或其衍生表配置成监控表，每日监控表的数据量，并为其设置阈值；当目标表数据量超过或低于前一天或上周同一天的50%时，给出相关预警。