[发明专利]日志采集方法和系统

说明书

本发明提供一种日志采集方法和系统，所述方法包括通过UDP传输方式获取日志数据；按预设写入频率将日志数据写入日志文件；对日志文件进行打包压缩得到压缩文件；通过TCP传输方式转发压缩文件。上述日志采集方法和系统，通过UDP传输方式获取日志数据，按预设频率将日志数据写入日志文件，对日志文件进行打包压缩得到压缩文件，然后通过TCP传输方式转发压缩文件，异步采集日志数据且分布式处理日志数据，提高了系统性能和存储效率，且按预设写入频率写入数据减轻了磁盘的读写负荷。

技术领域

本发明涉及日志存储技术，特别是涉及日志采集方法和系统。

背景技术

日志数据是为了便于业务分析和系统分析而记录的程序行为数据，这类数据通常具有数据量大的特点。传统的日志采集方法是在日志数据产生时将产生的日志数据直接写入数据库。这种日志采集方法容易给系统带来性能压力和存储压力，从而极大影响系统的正常运行。

发明内容

基于此，有必要针对现有日志采集方法容易给系统带来性能压力和存储压力的问题，提供一种能提高系统性能和存储效率的日志采集方法。

此外，还有必要提供一种能提高系统性能和存储效率的日志采集系统。

一种日志采集方法，包括如下步骤：

通过UDP传输方式获取日志数据；

按预设写入频率将日志数据写入日志文件；

对日志文件进行打包压缩得到压缩文件；

通过TCP传输方式转发压缩文件。

一种日志采集系统，包括UDP中转服务器，所述UDP中转服务器包括：

获取模块，用于通过UDP传输方式获取日志数据；

写文件模块，按预写入设频率将日志数据写入日志文件；

打包压缩模块，用于对日志文件进行打包压缩得到压缩文件；

转发模块，用于通过TCP传输方式转发压缩文件。

上述日志采集方法和系统，通过UDP传输方式获取日志数据，按预设写入设频率将日志数据写入日志文件，对日志文件进行打包压缩得到压缩文件，然后通过TCP传输方式转发压缩文件，异步采集日志数据且分布式处理日志数据，提高了系统性能和存储效率，且按预设写入频率写入数据减轻了磁盘的读写负荷。

附图说明

图1为一个实施例中一种日志采集方法流程示意图；

图2为另一个实施例中一种日志采集方法流程示意图；

图3为又一个实施例中一种日志采集方法流程示意图；

图4为一个实施例中一种日志采集系统结构示意图；

图5为另一个实施例中一种日志采集系统结构示意图；

图6为又一个实施例中一种日志采集系统结构示意图；

图7为一个实施例中一种日志采集系统示意图。

具体实施方式

下面结合具体的实施例及附图对日志采集方法和系统的技术方案进行详细的描述，以使其更加清楚。

如图1所示，在一个实施例中，一种日志采集方法，包括如下步骤：

步骤S110，通过UDP传输方式获取日志数据。