[发明专利]一种高效融合CDN实时日志OLAP存储查询系统及其存储查询方法

权利要求书

1.一种高效融合CDN实时日志OLAP存储查询系统，其特征在于，包括：

融合CDN厂商日志推送服务模块(1)，用以实现融合厂商供应商的日志推送服务；

反向服务器(2)，用以作为融合厂商供应商的日志推送入口，所述融合CDN厂商日志推送服务模块(1)的输出端与反向服务器(2)的输入端连接；

实时日志标准化服务模块(3)，用以收集融合厂商供应商的日志并将其标准化，所述反向服务器(2)的输出端与实时日志标准化服务模块(3)的输入端连接；

Kafka系统(4)，用以存储融合厂商供应商的日志，所述实时日志标准化服务模块(3)的输出端与Kafka系统(4)的输入端连接；

Log﹣Server系统(5)，用以实现预聚合和压缩高效进行存储，所述Kafka系统(4)的输出端与Log﹣Server系统(5)的输入端连接；

Apache HBase系统(6)，用以存储预聚合后的日志及归类的原始日志，所述Log﹣Server系统(5)的输出端与Apache HBase系统(6)的输入端连接；以及

实时日志读取服务模块(7)，用以根据用户查询条件，搜索日志流量或者查找原始日志，所述Apache HBase系统(6)的输出端与实时日志读取服务模块(7)的输入端连接。

2.根据权利要求1所述的一种高效融合CDN实时日志OLAP存储查询系统，其特征在于，所述Log﹣Server系统(5)包括：

实时日志预聚合及日志归类模块(51)，用以消费kafka日志并且进行按照厂商+域名+时间预聚合和归类，内存中进行聚合，满足大小或者时间策略，进行刷盘写入本地文件系统；以及

实时日志上传模块(52)，用以读取刷盘后的预聚合文件，并将其写入Apache HBase系统(6)中。

3.根据权利要求2所述的一种高效融合CDN实时日志OLAP存储查询系统，其特征在于，所述Log﹣Server系统(5)具有OLAP的Roll-up特性：用以实现写入Apache HBase系统(6)之前，先在内存中按照厂商+域名+时间维度进行对流量预聚合，避免读取流量的时候进行全量日志读取然后再对计量求和；以及

具有OLAP的Drill-down特性：用以将相同维度的日志归类压缩，并采用apache avro格式进行存储。

4.根据权利要求3所述的一种高效融合CDN实时日志OLAP存储查询系统，其特征在于，所述Apache HBase系统(6)具有HBase的Mob特性：用以避免日志频繁合并，提升HBase读写吞吐量。

5.根据权利要求4所述的一种高效融合CDN实时日志OLAP存储查询系统，其特征在于，所述实时日志读取服务模块(7)具有如下功能：

(a)、提供按照厂商+域名+时间维度查询融合CDN日志流量；

(b)、提供按照厂商+域名+时间维度查询原始CDN日志日志。

6.一种高效融合CDN实时日志OLAP存储查询系统，其特征在于，将开源的Apache Druid替代权利要求3中Log﹣Server系统(5)的OLAP的Roll-up特性。

7.一种高效融合CDN实时日志OLAP存储查询系统，其特征在于，将通用化的Roll-up加Drill-down特性日志OLAP系统替代权利要求1中的Log﹣Server系统(5)。

8.采用权利要求1－7任意一项所述一种高效融合CDN实时日志OLAP存储查询系统进行的存储查询方法，其特征在于，包括如下步骤：

S100、融合CDN日志高效写入；

S200、融合CDN日志高效读取。