[发明专利]日志数据采集系统及方法

说明书

本发明公开了一种日志数据采集系统，包括flume采集层模块，用于采集指定服务的日志数据，针对每一条采集数据流生成对应的配置文件，将所述配置文件写入flume通信头信息进行传输；flume汇聚层模块，接收所述flume采集层模块传输的日志数据，根据所述flume通信头信息确定对应的日志数据的传输方式和传输路径；Kafka消息队列层模块，用于根据所述传输方式缓存所述flume汇聚层模块传输的日志数据；数据消费者层模块，用于针对每一个配置文件对应的日志数据启动一个数据消费者，并根据所述传输路径存储至目标介质。同时，本发明还公开一种日志数据采集方法。本方案实现日志数据采集与流式传输的标准化，极大地降低操作和管理成本。

技术领域

本发明涉及日志数据采集领域，具体涉及一种日志数据采集系统及一种日志数据采集方法。

背景技术

传统的日志数据采集，目前主流的方案通过使用flume采集层，flume汇聚层，Kafka消息队列层和数据消费者层的流式传输完成日志数据的采集。其中，flume数据采集层利用flume作为机器节点代理(agent)负责实时采集指定服务的日志数据，并将采集到的日志数据发送至flume汇聚层；flume汇聚层利用flume作为机器节点代理负责接收其他机器节点flume agent采集的日志数据，flume汇聚层的每一个flume agent与采集层的某个服务日志的所有flume agent对应，flume汇聚层接收服务日志数据后，将日志数据发送至Kafka消息队列层与服务绑定的某个Topic中；Kafka消息队列层，利用Kafka作为消息队列，短时间缓存日志数据，同时保证日志数据的一致性；数据消费者层，通过各种类型的Kafka客户端消费Kafka消息队列中的日志数据，并进行一定处理，最后存储到目标介质。

上述方案中，各功能层节点之间的上下游关系完全由人工通过节点配置文件指定，而不同类型节点的配置又是不相同的，上一功能层节点配置属性无法传递至下一功能层节点，从而无法在整个日志数据采集与流式传输的过程中实现关系串联。因此，需要通过手动方式维护各功能层节点的上下游对应关系。而在实际应用中，经常需要对日志采集及流式传输的健康状态进行监控、对数据条目进行校验、对数据关系进行梳理、新增或删除日志采集等。使用上述技术方案，这些需求实现起来非常困难，操作与管理成本巨大。

因此，亟需一种各功能层节点之间能够自动实现上下游关系串联的日志数据采集系统和方法，以降低操作与管理成本，并进一步能够实现操作与管理的自动化。

发明内容

本发明提供一种流式传输的标准化的数据采集装置和方法，解决因无法实现功能层节点之间无法串联导致的成本高和使用实现困难等问题。

根据本发明的一个方面，提供一种日志数据采集系统，包括：

flume采集层模块，用于采集指定服务的日志数据，针对每一条采集数据流生成对应的配置文件，将所述配置文件写入flume通信头信息进行传输；

flume汇聚层模块，接收所述flume采集层模块传输的日志数据，根据所述flume通信头信息确定对应的日志数据的传输方式和传输路径；

Kafka消息队列层模块，用于根据所述传输方式缓存所述flume汇聚层模块传输的日志数据；

数据消费者层模块，用于针对每一个配置文件对应的日志数据启动一个数据消费者，并根据所述传输路径存储至目标介质。

在其中一个实施例中，flume采集层模块针对每一条采集数据流生成对应的配置文件，为针对每一条采集数据流生成对应的标识ID，根据所述标识ID生成对应的配置文件。

在其中一个实施例中，所述配置文件包括所述对应采集数据流的关联服务ID，服务日志路径，服务日志关联Kafka Topic，服务日志存储介质路径。