[发明专利]一种日志采集系统及其数据传输方法、装置

说明书

本申请实施例公开了一种日志采集系统及其数据传输方法、装置。日志采集系统的数据传输方法包括：在日志采集系统Flume的Sink组件中配置与业务需求对应的Sink扩展组件；利用各所述Sink扩展组件从所述Sink组件中获取原始数据，并按照预设业务处理规则对所述原始数据进行处理，得到目标数据；将所述目标数据传输到相应的数据接收方。通过增加Sink扩展组件，利用Sink扩展组件按照业务要求对原始数据进行处理，提取需要的、可用的数据向后传输，避免了后端服务器IO流瓶颈以及数据积压问题。

技术领域

本申请涉及计算机技术领域，具体涉及一种日志采集系统及其数据传输方法、装置。

背景技术

Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume提供对数据进行简单处理的能力，Flume运行的核心是Agent，Flume以Agent为最小的独立运行单位。一个Agent就是一个JVM(Java虚拟机)。它是一个完整的数据收集工具，含有三个核心组件，分别是Source、Channel、Sink。通过这些组件，Event(事件)可以从一个地方流向另一个地方，如图1所示，Source是数据的收集端，负责将数据捕获后封装到事件(event)里，然后将事件推入Channel中，Channel(管道)是用来传输数据的，Sink组件从Channel中取出事件，然后将数据发到别处(比如分发到文件系统、数据库，也可以分发到其他Agent的Source处)。图1中箭头的指向代表了数据的流向，比如数据从Web服务器-->Source-->Channel-->Sink(组件)-->数据存储，图1的中间被矩形框起来的部分即是一个Agent。

由于现有Flume主要用于日志数据收集和传输，为了保证日志数据采集效率其对日志数据的处理基本与业务无关，当传输的数据量较大时，比如每秒几十亿的数据量，容易造成后端数据库服务器或业务服务器不能实时消费处理Flume传输的数据，造成了数据积压，服务器假死等问题。

发明内容

有鉴于此，本申请实施例提供了一种日志采集系统的数据传输方法、装置，通过增加Sink扩展组件，使得日志采集系统按照业务要求对原始数据进行处理，提取需要的、可用的数据向后传输，避免了后端服务器IO流瓶颈以及数据积压问题。

根据本申请的一个方面，提供了一种日志采集系统的数据传输方法，包括：

在日志采集系统Flume的Sink组件中配置与业务需求对应的Sink扩展组件；

利用各所述Sink扩展组件从所述Sink组件中获取原始数据，并按照预设业务处理规则对所述原始数据进行处理，得到目标数据；

将所述目标数据传输到相应的数据接收方。

根据本申请的另一个方面，提供了一种日志采集系统的数据传输装置，包括：

组件扩展模块，用于在日志采集系统Flume的Sink组件中配置与业务需求对应的Sink扩展组件；

数据处理模块，用于利用各所述Sink扩展组件从所述Sink组件中获取原始数据，并按照预设业务处理规则对所述原始数据进行处理，得到目标数据；

传输模块，用于将所述目标数据传输到相应的数据接收方。

根据本申请的又一个方面，提供了一种日志采集系统，其中，该系统包括：客户端和日志采集服务器；所述日志采集服务器中包括如本申请的另一个方面所述的日志采集系统的数据传输装置。

根据本申请的再一个方面，提供了一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请的一个方面所述方法的步骤。