[发明专利]一种日志缓存系统及方法

说明书

技术领域

本发明涉及计算机网络领域，尤其涉及一种日志缓存系统及方法。

背景技术

传统的日志回收系统就是将不同客户端提交的日志进行接收、汇总和保存。而且提高服务器性能的所做的各种优化也是在日志回收服务器本身上做。因此这种单一型的日志回收系统具有一定的局限性。

例如，当提交日志的客户端较多，且每台客户端每秒钟可能会发送多条日志信息时，日志回收系统每秒钟都需要接收大量的日志信息，日志回收服务器的网络带宽会被大量数据包所阻塞，而且日志回收服务器每秒钟能接收的日志总数是有上限的，当收到的日志数量超过或者远超过上限时，很容易造成日志信息丢失，甚至导致日志回收系统无法正常工作甚至瘫痪；传统的日志回收服务器会将最新日志、无效日志和超时日志都依次处理了，因为只有最新日志具有意义，无效日志和超时日志都没有了处理价值，造成了不必要的服务器资源浪费，同时处理大量的无效数据也降低了日志回收服务器的处理性能。

发明内容

本发明提供了一种日志缓存系统及方法，可以有效解决上述所提出的问题，具体发明如下：

一种日志缓存系统，包括：

接收模块，用于接收客户端提交的日志信息，其中，所述的日志信息包括：日志标识码、日志类型，日志提交时间和日志内容；

配置模块，根据日志类型生成日志配置信息，其中，所述的日志配置信息包括：日志需要更新的标识，日志的有效时长，日志队列打包发送长度；      

存储模块，用于根据日志类型把缓存按队列形式分配并把日志信息数据进行存储形成日志信息缓存队列；

打包模块，用于实时监控缓存队列的数据量长度并根据日志配置信息打包日志信息数据；

回收服务器，用于接收打包日志信息数据。

所述的接收模块包括：

第一读取单元，从配置模块中读取接收的日志信息中日志类型的日志配置信息；

判断单元，根据所读取日志需要更新的标识判断接收的日志信息是否有需要更新到缓存队列中；

如果日志信息需要更新到缓存队列中，则根据日志需要更新的标识在对应日志类型的缓存队列中依次检索出需要更新的日志标识码；

如果检索出有需要更新的日志标识码，则将接收的日志信息与原日志信息进行替换，如果没有检索出有需要更新的日志标识码，则直接将接收的日志信息保存到缓存队列的末端；

如果日志信息不需要更新，则根据日志类型将接收日志信息保存到缓存队列末端。

所述的打包模块包括：

第二读取单元，根据日志类型从配置模块中读取所有类型的日志配置信息；

循环处理单元，根据第二读取单元读取的日志的有效时长及日志队列打包发送长度循环处理所有类型的日志信息并打包日志信息。

所述的根据第二读取单元读取的日志的有效时长及日志队列打包发送长度循环处理所有类型的日志信息并打包日志信息包括：

判断缓存队列的日志信息的数据量是否超出预设值，

如果超出预设值，则根据日志地址、日志提交时间及日志的有效时长确定日志是否超时，如果日志没有超时，则将日志从缓存队列中按照预设值数据量取出日志信息数据进行打包并发送到回收服务器，否则将超时的日志丢弃;

如果没超出预设值，则直接将打包的日志信息数据发送到回收服务器。

一种日志缓存的方法，适用于所述的一种日志缓存系统，包括：

接收客户端提交的日志信息，其中，所述的日志信息包括：日志标识码、日志类型，日志提交时间和日志内容；

根据日志类型生成日志配置信息，其中，所述的日志配置信息包括：日志需要更新的标识，日志的有效时长，日志队列打包发送长度

根据日志类型把缓存按队列形式分配并把日志信息数据进行存储形成日志信息缓存队列；

实时监控缓存队列的数据量长度并根据日志配置信息打包日志信息数据；

将打包日志信息数据发送到回收系统服务器上。

所述的接收客户端提交的日志信息包括：

从配置模块中读取接收的日志信息中日志类型的日志配置信息；

根据所读取日志需要更新的标识判断接收的日志信息是否有需要更新到缓存队列中；

如果日志信息需要更新到缓存队列中，则根据日志需要更新的标识在对应日志类型的缓存队列中依次检索出需要更新的日志标识码；

如果检索出有需要更新的日志标识码，则将接收的日志信息与原日志信息进行替换，如果没有检索出有需要更新的日志标识码，则直接将接收的日志信息保存到缓存队列的末端；