[发明专利]用于数据仓库的日志分析方法和装置

说明书

技术领域

本发明实施例涉及网络数据通信技术领域，尤其涉及一种用于数据仓库的日志分析方法和装置。

背景技术

随着大数据时代的来临，数据仓库技术受到了人们的青睐。数据仓库是支持管理决策过程、面向主体、集成、非易失、随时间不断变化的数据集合。它是一个信息提供平台，为用户提供各种手段从数据中获取信息和知识。也就是说，数据仓库为支持海量存储和高层决策分析提供了一种解决方案。

数据仓库本身是一来与大量的日志数据而运行的。但是，数据仓库内部日志的数据量非常之大。一个普通规模的数据仓库系统每天产生的日志条目通常在亿的数量级。而且，数据仓库系统的日志都是实时产生的，所以要求对数据仓库系统的日志的异常检查手段的实时性较高。因此，通过原有的人工手段对数据仓库系统的日志数据进行及时、准确的异常检查会十分困难。

发明内容

有鉴于此，本发明实施例提出一种用于数据仓库的日志分析方法和装置，以保证及时、准确的检查数据仓库中日志数据的异常。

第一方面，本发明实施例提供了一种用于数据仓库的日志分析方法，所述方法包括：

生成记录日志之间的依赖关系的元数据；

根据所述元数据对日志是否异常进行检查；

若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。

第二方面，本发明实施例提供了一种用于数据仓库的日志分析装置，所述装置包括：

元数据生成模块，用于生成记录日志之间的依赖关系的元数据；

第一日志检查模块，用于根据所述元数据对日志是否异常进行检查；

提示修改模块，用于若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。

本发明实施例提供的用于数据仓库的日志分析方法和装置，通过生成记录日志之间的依赖关系的元数据，根据所述元数据对日志是否异常进行检查，若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志，从而保证了及时、准确的检查数据仓库中日志数据的异常。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明第一实施例提供的用于数据仓库的日志分析方法的流程图；

图2是本发明第一实施例提供的日志之间的依赖关系的示意图；

图3是本发明第二实施例提供的用于数据仓库的日志分析方法的流程图；

图4是本发明第二实施例提供的入库以后日志之间的依赖关系的示意图；

图5是本发明第三实施例提供的用于数据仓库的日志分析方法中根据元数据对日志是否异常进行检查的流程图；

图6是本发明第四实施例提供的用于数据仓库的日志分析方法的流程图；

图7是本发明第四实施例提供的可以实施所述日志分析方法的数据仓库系统的结构图；

图8是本发明第五实施例提供的用于数据仓库的日志分析装置的结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

图1及图2示出了本发明的第一实施例。

图1是本发明第一实施例提供的用于数据仓库的日志分析方法的流程图。所述用于数据仓库的日志分析方法由用于数据仓库的日志分析装置执行。并且，所述用于数据仓库的日志分析装置集成与数据仓库系统的服务器中。参见图1，所述用于数据仓库的日志分析方法包括：

S110，生成记录日志之间的依赖关系的元数据。

数据仓库系统中的日志记录着数据仓库系统基本配置信息和数据仓库内的各种事件。这些事件包括数据仓库系统中关键模块的启动、关闭，管理员对数据仓库系统及其关键模块的维护操作以及用户对数据仓库系统的各种使用操作。由于数据仓库系统本身的规模巨大，其产生的日志的数据量也十分巨大。

在数据仓库系统的日志数据中，有一些日志数据以依赖与所述数据仓库系统中已有的其他日志数据而产生的。例如一条记录用户对音乐库中一首歌曲的播放行为的日志，该条日志的各个数据字段如下表所示：