[发明专利]日志采集方法和系统

权利要求书

1.一种日志采集方法，包括如下步骤：

通过UDP传输方式获取日志数据；

按预设写入频率将所述日志数据写入日志文件；所述按预设写入频率将所述日志数据写入日志文件包括：按照第一预设时间间隔创建所述日志文件，并将该时间间隔内获取的所述日志数据有序地写入所述日志文件中；

按预设打包频率对所述日志文件进行打包压缩得到压缩文件，根据时间和系统信息对所述压缩文件进行命名；所述按照预设打包频率对所述日志文件进行打包压缩包括：对第二预设时间间隔内生成的日志文件进行打包压缩得到所述压缩文件；

通过TCP传输方式转发所述压缩文件；

在判断到所述压缩文件转发成功后，删除所述压缩文件；

其中，所述通过UDP传输方式获取日志数据的步骤之前还包括如下步骤：

采集应用程序的日志数据；

将日志数据中的多个字段连接成一个字符串，以形成格式化的日志数据；

将所述格式化的日志数据进行压缩；

通过UDP传输方式发送压缩后的日志数据；

其中，所述日志数据中的日志字段包括普通字段和扩展字段，所述扩展字段包括若干扩展项；

所述将日志数据中的多个字段连接成一个字符串，以形成格式化的日志数据包括：

对所述普通字段和每个所述扩展项进行字符替换；

通过第一预设字符连接替换后的扩展项，得到新的扩展字段；

通过第二预设字符连接替换后的普通字段和所述新的扩展字段，得到所述字符串。

2.根据权利要求1所述的日志采集方法，其特征在于，所述通过TCP传输方式转发所述压缩文件的步骤之后还包括如下步骤：

获取并解压所述压缩文件得到日志文件；

读取所述日志文件得到日志数据；

反格式化所述日志数据得到日志字段；

将所述日志字段写入日志数据库。

3.根据权利要求1所述的日志采集方法，其特征在于，在所述按预设打包频率对所述日志文件进行打包压缩得到压缩文件之后，所述方法还包括：

删除所述已打过包的日志文件。

4.一种日志采集系统，其特征在于，包括UDP中转服务器，所述UDP中转服务器包括：获取模块，用于通过UDP传输方式获取日志数据；

写文件模块，按预设写入频率将所述日志数据写入日志文件；所述按预设写入频率将所述日志数据写入日志文件包括：按照预设时间间隔创建所述日志文件，并将该时间间隔内获取的所述日志数据有序地写入所述日志文件中；

打包压缩模块，用于对所述日志文件进行打包压缩得到压缩文件，根据时间和系统信息对所述压缩文件进行命名；

转发模块，用于通过TCP传输方式转发所述压缩文件；

删除模块，用于在判断到所述压缩文件转发成功后，删除所述压缩文件。

所述打包压缩模块还用于：

对第二预设时间间隔内生成的日志文件进行打包压缩得到所述压缩文件；

所述系统还包括日志数据采集模块；

所述日志数据采集模块包括：

采集单元，用于采集应用程序的日志数据；

格式化单元，用于将日志数据中的多个字段连接成一个字符串，以形成格式化的日志数据；

压缩单元，用于将所述格式化的日志数据进行压缩；

传输单元，用于通过UDP传输方式发送所述压缩后的日志数据；

其中，所述日志数据中的日志字段包括普通字段和扩展字段，所述扩展字段包括若干扩展项；

所述格式化单元具体用于：

对所述普通字段和每个所述扩展项进行字符替换；

通过第一预设字符连接替换后的扩展项，得到新的扩展字段；

通过第二预设字符连接替换后的普通字段和所述新的扩展字段，得到所述字符串。

5.根据权利要求4所述的日志采集系统，其特征在于，所述系统还包括日志中心服务器，所述日志中心服务器包括：

解压模块，用于获取并解压所述压缩文件得到日志文件；

读取模块，用于读取所述日志文件得到日志数据；

反格式化模块，用于反格式化所述日志数据得到日志字段；

写入模块，用于将所述日志字段写入日志数据库。

6.根据权利要求5所述的日志采集系统，其特征在于，所述打包压缩模块还用于在所述按预设打包频率对所述日志文件进行打包压缩得到压缩文件之后，删除所述已打过包的日志文件。