[发明专利]日志数据的记录方法及服务器集群

说明书

技术领域

本发明涉及数据处理技术领域，特别是涉及一种日志数据的记录方法及服务器集群。

背景技术

为了合理利用系统资源，更好地发挥各种资源的效益，使各种物理设备之间的时间性限制条件减少到最低限度，最大限度地提高系统的效率，因而开发了高并发软件系统。其中，高并发软件系统中日志是不可缺少的一部分，系统日志用于记录系统行为信息以及系统错误信息。

系统日志在记录系统行为信息或者系统错误信息时，是逐条记录的，在日志记录过程中，由于高并发软件系统是并发执行的，系统接收到日志写入请求时，系统会将处理其他进程的中央处理器(Central Processing Unit，CPU)挂起，切换输入/输出(Input/Output，I/O)操作，将一条日志写入到磁盘中，待日志成功写入到磁盘后，唤起CPU；在记录下一条日志时，重复同样的操作。

发明人在实现上述发明过程中，发现现有技术的系统日志中一条日志本身是轻量级的，但是，在实际应用过程中，系统的运行会产生大量日志，大量日志组成的系统日志，数量是重量级的。在将大量的日志写入磁盘时，由于会循环执行CPU的挂起、唤起操作，因此会降低系统记录日志的效率。

发明内容

有鉴于此，本发明提供的一种日志数据的记录方法及服务器集群，主要目的在于解决现有技术中，在执行日志写入磁盘过程中，由于会循环执行CPU的挂起、唤起操作，因此会降低系统记录日志的效率的问题，通过减少CPU的挂起、唤起次数来提高记录日志的效率。

依据本发明一个方面，本发明提供了一种日志数据的记录方法，包括：

获取数据发送方发送的待存储日志数据，并将所述待存储日志数据存储于日志缓存服务中，所述日志缓存服务用于暂存所述待存储日志数据；

监控所述日志缓存服务中待存储日志数据的数据量是否超过预设存储阈值；

若超过，则将所述日志缓存服务中的所有待存储日志数据写入到日志系统中，其中，所述日志系统通过非易失性存储器进行存储。

可选的，将所述待存储日志数据存储于日志缓存服务中包括：

对所述待存储日志数据进行解析，确定所述待存储日志数据的数据类型；

将所述待存储日志数据记录到与所述数据类型对应的缓存模块中，所述日志缓存服务中包含多个缓存模块，所述缓存模块与所述数据类型存在映射关系。

可选的，所述待存储日志数据包含至少两个字段：数据类型字段、数据内容字段；

所述对所述待存储日志数据进行解析，确定所述待存储日志数据的数据类型包括：

对所述待存储日志数据的报文进行解析，获取所述报文中的数据类型字段；

根据所述数据类型字段确定所述待存储日志数据的数据类型。

可选的，在将所述日志缓存服务中的所有待存储日志数据写入到日志系统中之前，所述方法还包括：

若确定所述缓存模块中所述待存储日志数据的数据量未超过预设存储阈值，则根据数据内容字段中的任一数据属性，对所述待存储日志数据进行分类，其中，所述数据内容字段中包含多种数据属性；

将所述缓存日志中的所有待存储日志数据写入到日志系统中包括：

若确定所述缓存模块中所述待存储日志数据的数据量超过预设存储阈值，则将所述缓存模块中分类后的待存储日志数据写入所述日志系统中。

可选的，所述方法还包括：

若所述缓存模块中的所有待存储日志数据均写入到所述日志系统中，则清空所述缓存模块中的所有待存储日志数据。

可选的，在将所述日志缓存服务中的所有待存储日志数据写入到日志系统中之前，所述方法还包括：

根据所述数据类型，在所述日志缓存服务中构建多个缓存模块。

依据本发明另一个方面，本发明提供了一种服务器集群，包括：

处理器，被配置为获取数据发送方发送的待存储日志数据，将所述收发器接收到的所述待存储日志存储于日志缓存服务中，所述日志缓存服务用于暂存所述待存储日志数据；

监控所述日志缓存服务中待存储日志数据的数据量是否超过预设存储阈值；

当所述日志缓存服务中待存储日志数据的数据量超过所述预设存储阈值时，将所述日志缓存服务中的所有待存储日志数据写入到日志系统中，其中，所述日志系统通过非易失性存储器进行存储；

存储器，被配置为存储所述处理器的可执行指令；

总线，被配置为耦接所述处理器及所述存储器。

可选的，所述处理器还被配置为：