[发明专利]基于快数据和大数据技术架构的运维管理方法在审
申请号: | 201710175485.1 | 申请日: | 2017-03-22 |
公开(公告)号: | CN108628897A | 公开(公告)日: | 2018-10-09 |
发明(设计)人: | 蔡春根;李卓松;王科 | 申请(专利权)人: | 上海恒容企业管理有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 上海愉腾专利代理事务所(普通合伙) 31306 | 代理人: | 唐海波 |
地址: | 200122 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 大数据 内存数据库 数据库 采集管理 技术架构 实时存储 运维管理 磁盘 构建 集群 分布式内存数据库 分布式数据库 分析处理结果 实时分析处理 分布式消息 采集数据 处理策略 队列技术 分析处理 高效运行 内存数据 实时采集 实时同步 事件信息 性能数据 业务系统 运行数据 运行效率 运行状况 告警 有效地 网格 整合 写入 | ||
1.一种基于快数据和大数据技术架构的运维管理方法,其特征在于,所述基于快数据和大数据技术架构的运维管理方法包括以下步骤:
构建分布式内存数据库集群;
构建大数据分布式数据库集群;
将写入内存数据库的数据实时同步到大数据数据库和磁盘中;
采集管理对象的事件(日志)信息并实时存储到内存数据库中;
采集管理对象的性能数据并实时存储到内存数据库中;
对内存数据库、大数据数据库和磁盘中的各采集数据进行分析处理;
根据分析处理结果实施相应的处理策略。
2.根据权利要求1所述的基于快数据和大数据技术架构的运维管理方法,其特征在于,所述构建分布式内存数据库集群包括:通过分布式内存数据网格数据管理技术,基于若干个Geode节点组成一个内存数据库集群。
3.根据权利要求1所述的基于快数据和大数据技术架构的运维管理方法,其特征在于,所述构建分布式数据库集群包括:基于若干个Cassandra节点组成一个(磁盘)大数据数据库集群。
4.根据权利要求3所述的基于快数据和大数据技术架构的运维管理方法,其特征在于,写入内存数据库的数据实时同步到Cassandra数据库中和本地磁盘中,用于数据备份、数据恢复、历史数据的回溯查询和深度分析。
5.根据权利要求1所述的基于快数据和大数据技术架构的运维管理方法,其特征在于,事件管理的可视化处理定义和高性能处理,有如下步骤:
采集程序以主动或被动方式采集事件(日志)信息;
采集的事件(日志)保存到内存数据库中,进而同步到大数据数据库和磁盘中;
以并行查询和并行处理的方式,对事件数据进行处理;
高等级(严重)事件发生通知,进行告警处理;
经分析处理后的事件信息进行实时滚动展现。
6.根据权利要求1所述的基于快数据和大数据技术架构的运维管理方法,其特征在于,包括性能管理,有如下步骤:
采集程序以主动方式采集设备和应用的KPI数据;
采集的KPI数据保存到内存数据库中,进而同步到大数据数据库和磁盘中;
以并行查询和并行处理方式,对性能数据进行处理;
如果突破阈值,则生成事件记录,并告警;
经分析处理后的性能信息进行展现。
7.根据权利要求1所述的基于快数据和大数据技术架构的运维管理方法,其特征在于,所述内存数据库和数据库之间进行单向或双向、同步或异步方式的数据同步,以保证数据完整性和数据一致性。
8.根据权利要求1所述的基于快数据和大数据技术架构的运维管理方法,其特征在于,运维管理客户端通过多种API访问分布式内存数据库集群。
9.根据权利要求1至8之一所述的基于快数据和大数据技术架构的运维管理方法,其特征在于,所述基于快数据和大数据技术架构的运维管理方法包括:在进行数据采集和分析处理时,采用分布式并行计算方式(MapReduce)进行。
10.根据权利要求9所述的基于快数据和大数据技术架构的运维管理方法,其特征在于,所述并行计算方式叠加数据分割机制。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海恒容企业管理有限公司,未经上海恒容企业管理有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710175485.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:签到行为热度处理方法及装置
- 下一篇:数据入库的方法、装置和设备