[发明专利]基于快数据和大数据技术架构的运维管理方法

说明书

本发明公开了一种基于快数据和大数据技术架构的运维管理方法，包括以下步骤：构建分布式内存数据库集群；构建大数据分布式数据库集群；将写入内存数据库的数据实时同步到大数据数据库和磁盘中；采集管理对象的事件信息并实时存储到内存数据库中；采集管理对象的性能数据并实时存储到内存数据库中；对内存数据库、大数据数据库和磁盘中的各采集数据进行分析处理；根据分析处理结果实施相应的处理策略；有效地整合了内存数据网格，大数据和分布式消息队列技术，实现了海量IT运行数据的实时采集，实时分析处理,实时告警和实时展现的目的，使得IT管理人员能及时，准确，全面了解IT系统的运行状况和运行效率，确保业务系统的稳定高效运行。

技术领域

本发明涉及云计算技术领域，尤其涉及一种基于快数据和大数据技术架构的运维管理方法。

背景技术

经过几十年的发展，IT系统在社会和经济各领域起着越来越重要的作用，IT系统的任何大小的问题都可能会造成很大的经济或社会影响，如证券交易问题，医疗问题，公共事务的办理问题等，为此政府部门和各企业都非常重视确保IT的稳定运行，包括对IT系统(网络，硬件，软件，应用等)进行全面的监控管理；同时随着IT应用的不断深入，IT系统规模，环境，应用也越来越大，越来越复杂，传统的基于一般关系型数据库(如Oracle，MySQL),功能单一和仅支持集中单一部署方式的监控管理系统已不能满足目前的要求，即对大规模，复杂IT系统的全面，及时，准确的监控和及时诊断的需要。传统IT监控管理系统存在以下主要问题：

问题1：不能及时处理大规模的日志事件消息，如上千，上万台设备的日志接收和处理，从而导致日志信息丢失，或处理缓慢而不能及时告警，甚至误报。

问题2：不能快速采集上千，上万台设备的多个KPI(关键性能指标)数据，如CPU利用率，内存利用率，防火墙的连接数，应用的可用性，处理响应时间等，因而当设备或应用性能下降时不能及时告警，如银行核心传统处理缓慢，将影响大量的经济活动。

问题3：不能进行各种信息的深度分析，因而不能给出较为精确的问题信息，以辅助问题的诊断和定位，如对事件消息进行及时的关联性分析，指出某台设备的故障可能会导致那些应用受到影响。

问题4：不能弹性扩展，当数据量越来越多时，传统监控系统只能增加内存，增加磁盘来提升单台服务器的处理能力(数据保存，数据分析处理和数据展现)，这样不仅费用高，而且不够灵活(如需要停机)。

发明内容

鉴于目前存在的上述不足，本发明提供一种基于快数据和大数据技术架构的运维管理方法，能够解决上述问题。

为达到上述目的，本发明的实施例采用如下技术方案：

一种基于快数据和大数据技术架构的运维管理方法，所述基于快数据和大数据技术架构的运维管理方法包括以下步骤：

构建分布式内存数据库集群；

构建大数据分布式数据库集群；

将写入内存数据库的数据实时同步到大数据数据库和磁盘中；

采集管理对象的事件(日志)信息并实时存储到内存数据库中；

采集管理对象的性能数据并实时存储到内存数据库中；

对内存数据库、大数据数据库和磁盘中的各采集数据进行分析处理；

根据分析处理结果实施相应的处理策略。

依照本发明的一个方面，所述构建分布式内存数据库集群包括：通过内存数据网格数据管理技术，基于若干个Geode节点组成一个内存数据库集群。

依照本发明的一个方面，所述构建分布式数据库集群包括：基于若干个Cassandra节点组成一个大数据数据库集群。