[发明专利]日志数据传输方法、装置和设备

说明书

本申请公开了日志数据处理方法、装置和设备。该方法包括：监听应用程序产生的日志数据；实时地将日志数据发送至Kafka消息队列的第一主题区域；在日志数据推送出现异常时，重试发送日志数据，如果重试成功，则停止发送日志数据至Kafka消息队列；如果重试未成功，则进一步确定日志数据被发送的次数是否达到阈值；如果达到所述阈值，则将日志数据发送到第二主题区域；如果未达到阈值，则重试将日志数据发送到第一主题区域，并进行计数统计，以统计日志数据被发送的次数。本申请实施例，在应用程序的日志数据发送出现异常时，通过确定日志数据的重新发送的结果来避免日志数据的发送错误，有效地提高日志数据传输的准确性。

技术领域

本申请一般涉及数据处理技术领域，尤其涉及日志数据处理方法、装置和设备。

背景技术

随着电子商务技术的发展，网络的后端服务器承载的压力也越来越大，同时需要处理的“数据”也呈几何级增长，实时准确的收集、传输、计算海量日志随之成为电子商务中的迫切要求。

现有技术中采集日志的工具，例如Flume、Scribe、Chukwa、ELK等，遵循传统的日志上报方式，即将日志数据先记录到文件系统，在通过采集Agent将日志的变化上报，可能是增量或全量地采集日志数据发送到消息队列。上述方式导致日志采集上报存在一定的延时，导致实时上报的效果不好。

同时，日志数据被采集上报给消息队列后，仅依靠消息队列自身的反馈机制，导致上报的日志数据存在错误性。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种日志数据传输方法、装置和设备来提高日志传输的准确性。

第一方面，本申请实施例提供了一种日志数据传输方法，该方法包括：

监听应用程序产生的日志数据；

实时地将日志数据发送至Kafka消息队列的第一主题区域；

在日志数据推送出现异常时，重试发送日志数据，

如果重试成功，则停止发送日志数据至Kafka消息队列；

如果重试未成功，则进一步确定日志数据被发送的次数是否达到阈值；

如果达到阈值，则将所述日志数据发送到第二主题区域；

如果未达到阈值，则重试将日志数据发送到第一主题区域，并进行计数统计，以统计日志数据被发送的次数。

第二方面，本申请实施例提供了一种日志数据传输装置，该装置包括：

监听单元，用于监听应用程序产生的日志数据；

消息发送单元，用于实时地将日志数据发送至Kafka消息队列的第一主题区域；

异常处理单元，用于在日志数据发送出现异常时，重试发送日志数据，

如果重试成功，则停止发送日志数据至Kafka消息队列；

如果重试未成功，则进一步确定日志数据被发送的次数是否达到阈值；

如果达到阈值，则将日志数据推送到第二主题区域；

如果未达到阈值，则重试将日志数据发送到第一主题区域，并触发计数单元执行加1；

计数单元，用于统计日志数据被发送的次数。

本申请实施例提供的日志数据传输方法和装置，其方法通过实时地监听应用程序产生的日志数据，并将日志数据发送至Kafka消息队列，当应用程序的日志数据的发送出现异常时，通过重试发送日志数据，然后确定重试结果是否成功，根据确定的结果对日志数据采取容错处理，有效地避免日志数据的发送错误，提高了日志数据传输的准确性。