[发明专利]基于数据分发服务的分布式日志网关

说明书

本发明公开了一种基于数据分发服务的分布式日志网关，包括日志服务和日志网关，日志服务以独立的进程运行在设备上，系统和应用程序将日志信息发送到日志服务中；日志服务通过DDS发布本设备的日志消息，由运行在本地或者其他设备上一个或多个日志网关通过DDS订阅来自日志服务的日志消息；其中，日志服务根据配置的过滤规则对日志消息进行过滤或分类处理，然后发布日志消息到DDS Topic上；日志网关则订阅来自日志服务的DDS Topic；日志网关可以配置本地的过滤规则，将过滤之后的日志消息发送到日志存储服务器保存或日志分析系统。本发明设计为用户提供了便利的日志管理、收集、传输方式，以及高可用性的实施方式。

技术领域

本发明涉及嵌入式系统日志存储领域和数据分发服务技术，尤其涉及一种基于数据分发服务的分布式日志网关。

背景技术

数据分发服务(Data Distribution Service，DDS)，是新一代分布式实时通信中间件协议，采用发布/订阅体系架构，强调以数据为中心，提供丰富的QoS服务质量策略，以保障数据进行实时、高效、灵活地分发，可满足各种分布式实时通信应用需求。

DDS是一个以数据为中心的中间件协议和API标准，意为用户只关心自己想要的数据，数据通过Topic进行标识，这样发布者根据主题发布数据，订阅者根据自己感兴趣的主题订阅数据。这便是DDS的核心，以数据为中心的发布-订阅模型DCPS(Data-CentricPublish-Subscribe)。目前主流的DDS产品(或开源项目)包括RTI DDS，OpenDDS，CycloneDDS等。

日志分析是运维和开发工程师发现问题，解决系统故障的主要手段。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息，检查系统运行过程中的错误及错误发生的原因。通过分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施进行干预。

通常，日志被分散的储存在不同的设备上。在一个复杂的系统中，通常会有数十个，甚至上百个不同的设备，如果还在使用依次登录每台设备的传统方法查阅日志，既繁琐又效率低下。为此，我们可以使用集中化的日志管理，将所有服务器上的日志收集汇总，例如，开源的syslog和ELK等方案，将所有服务器上的日志收集汇总。

在将不同设备的系统和应用程序产生的日志进行收集汇总的过程中，现有的技术大多是将设备产生的日志，发送到单一的日志服务器进行存储和汇总分析。在日志传输和汇总的过程中，存在以下几个弊端：(1)日志收集的过滤规则，以及日志收集的开启和关闭不够灵活；(2)日志服务器容易成为瓶颈，当整个网络内产生大量的日志信息需要传输时，日志服务器的负荷容易被占满；(3)从产生日志的设备，到日志服务器之间，通常会经过多个网络设备，如交换机和路由器，设置是公网网络。在传输过程中，对于重要的日志信息，缺少高可靠性的措施。

发明内容

为解决现有技术中存在的不足，本发明的目的在于，提供一种基于数据分发服务的分布式日志网关。

为实现本发明的目的，本发明所采用的技术方案是：

一种基于数据分发服务的分布式日志网关，包括日志服务和日志网关，日志服务上设置DDS模块，日志网关上设置DDS模块；

日志服务以独立的进程运行在设备上，系统和应用程序将日志信息发送到日志服务中；日志服务通过DDS发布本设备的日志消息，由运行在本地或者其他设备上一个或多个日志网关通过DDS订阅来自日志服务的日志消息；日志网关将日志信息发送到日志存储服务器或日志分析系统。

进一步地，日志服务发布日志消息到DDS Topic上；日志网关则订阅来自日志服务的DDS Topic。

进一步地，日志服务将本设备上所有日志消息发送到同一个DDS Topic。

进一步地，日志服务将本设备上的日志消息经过过滤规则筛选后发送到同一个DDS Topic。