[发明专利]一种高效融合CDN实时日志OLAP存储查询系统及其存储查询方法

说明书

本发明公开了一种高效融合CDN实时日志OLAP存储查询系统及其存储查询方法，属于计算机技术领域，包括：融合CDN厂商日志推送服务模块，用以实现融合厂商供应商的日志推送服务；反向服务器，用以作为融合厂商供应商的日志推送入口，融合CDN厂商日志推送服务模块的输出端与反向服务器的输入端连接；实时日志标准化服务模块，用以收集融合厂商供应商的日志并将其标准化，反向服务器的输出端与实时日志标准化服务模块的输入端连接；Kafka系统，用以存储融合厂商供应商的日志。本发明利用HBase存储特性，提供融合CDN日志的快速顺序写和随机读取要求；利用HBase的MOB特性，有效避免因频繁日志写入导致文件合并的问题。

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种高效融合CDN实时日志OLAP存储查询系统及其存储查询方法。

背景技术

融合CDN实时日志中，每条日志通常含有厂商，域名和请求时间3个维度以上及其他指标数据，且每秒会产生5百万条日志，其数据量非常庞大，背景是要实现如下功能：

1.即席查询：即基于厂商+域名+时间维度统计一段时间的CDN访问日志流量、平均下载速度、首包时间；

2.基于厂商+域名+时间维度快速查询CDN访问日志的原始日志用来排查日志；

3.保证日志高效及时入库，延迟低于1分钟；

我们在设计上对海量日志进行快速存储，通常会考虑以下方案：

(1)关系型数据库：适合存储关系型的日志数据，适合OLTP，但是不太适合海量日志的OLAP查询，但融合CDN日志是非结构化的(并且不同的厂商的格式会有较大的差异，而关系型数据库要求日志格式提前创建好)，所以关系型无法解决；

(2)分布式文件系统(HDFS)：HDFS适合用来存储非结构化的日志数据，适合顺序写入日志或者顺序读出日志，不利于随机写和随机度，虽然HDFS适合用来存储非结构化，但是HDFS设计为顺序写和顺序读的，融合CDN实时日志每秒会有大量日志，如果只是简单得进行顺序写入，则在查询的时候如果要根据厂商、域名和时间维度则要查询并且过滤大量日志行才能遍历到想要的数据，如果为了支持融合CDN日志的读需求场景，则需要按照相同的域名、厂商加上时间写相同的文件，这样可以满足读取需求，但是有2个问题：会有大量日志写入，可能同时间需要打开大量的文件句柄；对线上的HDFS集群压力增大著名的HDFSNameNode元数据问题，即大量的小文件不能通过扩容来解决融合实时日志经常延迟，又造成了以上2的问题

(3)对象存储(如七牛KODO,AWS S3)：对象存储系统通常可以容纳大量的小文件，存储廉价，可以很好扩容，对象存储系统和分布式文件系统有几个相同问题无法解决查询时候需要读取大量小文件，性能无法满足在实时写入情况，需要打开非常多的文件句柄，对线上集群压力增大；

(4)NOSQL(如HBASE)，可以快速写，高效的随机读取，写入时候无需进行提前设计好结构，HBase存储系统非常适合日志快速及时写入，并且满足随机读取，看起来很好满足，但是有以下缺点

(5)HBase基于HDFS文件系统，为了解决小文件问题，需要通过不断的进行小文件合并，这个会造成HBASE集群压力很大，影响到读取性能，甚至有时候由于运维不当导致经常服务宕机每条日志如果直接存入系统，就算数据已经经过压缩，仍然会有大量日志写入，存储资源浪费很严重，查询的时候还是会大量进行读取。