[发明专利]用于电力计量微服务架构的日志监控系统及实现方法

说明书

本发明公开了一种用于电力计量微服务架构的日志监控系统及实现方法，该系统包括：Elasticsearch监控组件、Logstash监控组件和Kibana监控组件；Elasticsearch监控组件采用基于Lucene的搜索服务器，提供分布式多用户能力的全文搜索引擎，Logstash监控组件采用插件式架构，对电力计量数据日志进行收集、分析和存储，Kibana监控组件采用Web平台，为Elasticsearch监控组件提供数据分析和可视化；针对Elasticsearch监控组件、Logstash监控组件、Kibana监控组件进行封装开发，匹配电力计量系统日志系统的架构模式。本发明在日志的收集、处理、存储、展示各个流程都使用微服务方式部署，支持动态扩容缩容、支持大规模日志的处理和存储，满足了复杂使用场景的日志需要。

技术领域

本申请涉及电力云计算技术领域，具体涉及一种用于电力计量微服务架构的日志监控系统及实现方法。

背景技术

随着科学技术的发展以及云计算等技术的普及，全球数据量呈现爆炸式的增长，尤其是大数据时代的到来，通过互联网，用户制造了海量的数据日志信息。在电网行业中个，各省市、地区在采集用电数据、计费数据、规则数据等各种各样的数据类型，每天产生的海量日志信息都达到了指数级。而传统的关系数据库对日志存储、查询、分析的能力有限，已无法满足呈爆炸性增长的海量数据日志需求，无法解决信息存储容量、数据安全、日志搜索分析等问题。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种用于电力计量微服务架构的日志监控系统及实现方法，应对日益庞大的数据计算需求和业务需求，使用日志监控系统能够提前对潜在的风险进行发掘，分析、判断并形成定性或定量的描述，从而采取应对措施来降低风险，计量系统系统采用多任务分布式技术对海量日志进行分析挖掘，应用规则关联、统计关联等分析方法，使得对电网行业的日志的分析深度与事件的识别准确度得到进一步的提升。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种用于电力计量微服务架构的日志监控系统，包括：

Elasticsearch监控组件、Logstash监控组件和Kibana监控组件；

所述Elasticsearch监控组件采用基于Lucene的搜索服务器，用于提供分布式多用户能力的全文搜索引擎，所述Logstash监控组件采用插件式架构，用于对电力计量数据日志进行收集、分析和存储，所述Kibana监控组件采用Web平台，用于为Elasticsearch监控组件提供数据分析和可视化；

针对Elasticsearch监控组件、Logstash监控组件、Kibana监控组件进行封装开发，匹配电力计量系统日志系统的架构模式。

作为优选的技术方案，所述Elasticsearch组件中包含节点和集群节点、Index索引、分布式系统、RESTful支持、document文档、标识文档的id、field字段以及mapping映射。

作为优选的技术方案，所述logstash监控组件包括日志数据发送组件、数据收集组件，数据写入组件。

本发明还提供一种用于电力计量微服务架构日志监控系统的实现方法，包括下述步骤：

计量系统日志Request生成及传递：计量系统各个微服务应用统一配置请求拦截器Filter，当拦截到http请求时，拦截器首先生成RequestID，接着收集应用的调用信息及用户信息并加密输出到日志中；

计量系统的日志采集：每个微服务应用服务器上都部署一个日志采集模块，用于采集各服务器上的应用日志，包括负载均衡和微服务网关接入层；

计量系统的日志缓存：将计量系统的日志转储在预设的redis组件内；