[发明专利]一种跟踪带日志的存储方法及系统

说明书

本发明提供了一种跟踪带日志的存储方法及装置，在应用层重新设计数据存储表，HBase的数据存储表包括主表、一级索引表和二级索引表。基于预分区将跟踪带日志数据存储到主表、一级索引表和二级索引表中，减少总的数据存储量，但不降低信息量。主表存储跟踪带日志的控制头、扩展区和内容区的字段，一级索引表存储跟踪带日志中预设字段与日期的组合的哈希值，二级索引表存储跟踪带日志的扩展区的字段，实现跟踪带日志在HBase中主键均匀分布，避免热点问题的发生，解决由于热点问题导致的写入延迟、读取缓慢的问题。

技术领域

本发明涉及计算机技术领域，更具体的，涉及一种跟踪带日志的存储方法及系统。

背景技术

中国航信业务系统是民航信息化发展的核心，随着民航业及IT技术的发展，中航信PSS系统越来越多的功能逐步从主机外移到开放系统，各个开放系统之间错综复杂，支撑着航信各业务的交易及服务等，这些系统每天都产生大量的日志数据，其中包含了大量的系统日志数据、用户输入输出数据、交易数据及结果等，这些日志数据是用户行为审计的基础、是复杂业务故障分析的基础。

为了便于对中国航信的主要应用进行日志审计、用户行为分析等工作，对各开放系统的日志数据建立了一套全局跟踪带。全局跟踪带主要目的是在符合法律法规要求的前提下，满足用户和航信自身对行为数据的应用需求。全局跟踪带主要采集了中航信各开放系统的日志数据，日志数据日均增量10TB级，峰值可达20TB或更大。

现有技术中，跟踪带日志被统一采集推送至Kafka，解析后存储至HBase，但是，跟踪带日志数据存储至HBase时存在写入延迟，读取缓慢等问题。

发明内容

有鉴于此，本发明提供了一种跟踪带日志的存储方法及系统，解决了跟踪带日志写入延迟，读取缓慢的问题。

为了实现上述发明目的，提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

一种跟踪带日志的存储方法，其特征在于，包括：

调用独立的日志采集进程采集跟踪带日志，并按预设格式将所述跟踪带日志存储到kafka相应的主题中；

将kafka中相同格式不同主题的所述跟踪带日志数据，基于预分区存储到HBase中相应日期的主表、一级索引表和二级索引表中，所述主表存储所述跟踪带日志的控制头、扩展区和内容区的字段，所述一级索引表存储所述跟踪带日志中预设字段与日期的组合的哈希值，所述二级索引表存储所述跟踪带日志的扩展区的字段。

一种跟踪带日志的存储装置，包括：

数据采集单元，用于调用独立的日志采集进程采集跟踪带日志，并按预设格式将所述跟踪带日志存储到kafka相应的主题中；

数据存储单元，用于将kafka中相同格式不同主题的所述跟踪带日志数据，基于预分区存储到HBase中相应日期的主表、一级索引表和二级索引表中，所述主表存储所述跟踪带日志的控制头、扩展区和内容区的字段，所述一级索引表存储所述跟踪带日志中预设字段与日期的组合的哈希值，所述二级索引表存储所述跟踪带日志的扩展区的字段。

相对于现有技术，本发明的有益效果如下：

本发明公开的一种跟踪带日志的存储方法，在应用层重新设计数据存储表，数据存储表包括主表、一级索引表和二级索引表。基于预分区将跟踪带日志数据存储到主表、一级索引表和二级索引表中，减少总的数据存储量，但不降低信息量。主表存储跟踪带日志的控制头、扩展区和内容区的字段，一级索引表存储跟踪带日志中预设字段与日期的组合的哈希值，二级索引表存储跟踪带日志的扩展区的字段，实现跟踪带日志在HBase中主键均匀分布，避免热点问题的发生，解决由于热点问题导致的写入延迟、读取缓慢的问题。

附图说明