[发明专利]一种CDN系统内日志实时分析的方法

权利要求书

1.一种CDN系统内日志实时分析的方法，其特征在于，在CDN中心节点上部署有中心日志分析系统，集中处理各节点汇总后数据的日志，基于分布式发布订阅消息系统进行实时分析,分布式发布订阅消息系统部署在各个CDN节点之上，由主题、分区、消息、生产商、消息和数据消费者、缓存代理组成，为了均衡负载将主题分成多个分区，每个代理存储一或多个分区，多个生产者和消费者同时生产和获取消息分布式发布订阅消息系统，

CDN各节点上的分布式发布订阅消息系统通过API接口的方式与中心日志分析系统进行数据的通讯；CDN各节点通过API接口将数据传递到中心日志分析系统，中心日志分析系统汇总、保存接收到的数据，并按数据的类型进行分类整理；

其中：

生产商、缓存代理、消息和数据消费者均有多个；

生产商、消息和数据消费者用于实现分布式发布订阅消息系统注册的接口，数据从生产商发送到缓存代理，再由缓存代理分发注册到系统中的消费者中。

2.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，分布式发布订阅消息系统的各个组成部分具体为：

主题：特指本分布式发布订阅消息系统组件处理的消息源的不同分类；

分区：标题物理上的分组，一个主题分为多个分区，每个分区是一个有序的队列，分区中的每条消息都会被分配一个有序的id；

消息：是通信的基本单位，每个生产商可以向一个主题发布一些消息；

生产商：消息和数据生产者，向本分布式发布订阅消息系统组件的一个主题发布消息的过程叫做生产；

消息和数据消费者：订阅主题并处理其发布的消息的过程叫做消费；

缓存代理：承担中间缓存和分发的作用，即活跃的数据和离线处理系统之间的缓存，

本分布式发布订阅消息系统组件的集群中的一台或多台服务器统称为代理。

3.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，首先是由分布式发布订阅消息系统完成对各自CDN节点数据的初步分析，然后将数据发送到中心日志分析系统，由中心日志分析系统完成对各个CDN节点的汇总分析，完整的工作周期为：分布式发布订阅消息系统的小集群采集本节点内各CDN节点的服务器的实时数据，并对数据进行实时分析，然后将实时分析的结果传递给中心日志分析系统，由中心日志分析系统对各分布式发布订阅消息系统的小集群发送过来的数据进行汇总分析。

4.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，分布式发布订阅消息系统作为日志的聚合、缓存的组件。

5.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，分布式发布订阅消息系统提供三种模式来保障消息投递的可靠性：第一种生产商将消息发送出去就视为成功投递到缓存代理；第二种模型，针对主盘盘和从盘(Master Slave)模型，只有当主盘和所有从盘都接收到消息时，才算投递成功；第三种模型，针对主盘盘和从盘(Master Slave)模型，即只要主盘确认收到消息就算投递成功。

6.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，每个分区单独存在一个缓存代理上，消费者往任一个分区发送消息，以此实现生产的分布式，任一分区都可以被且只被一个消费者消费，以此实现消费的分布式。

7.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，一种CDN系统内日志实时分析的方法采用分布式实时计算方案，以分布式发布订阅消息系统为核心，分布到各个节点中，进行节点内的日志实时分析。

8.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，一种CDN系统内日志实时分析的方法采用直接使用页面缓存、线性的写入方式。

9.根据权利要求1所述的一种CDN系统内日志实时分析的方法，其特征在于，一种CDN系统内日志实时分析的方法采用以kafka为核心组件，基于kafka stream进行实时分析。