[发明专利]数据存储方法和装置在审
申请号: | 201710017359.3 | 申请日: | 2017-01-11 |
公开(公告)号: | CN108304396A | 公开(公告)日: | 2018-07-20 |
发明(设计)人: | 李冬峰;刘荣明 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100080 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式文件系统 采集 系统运行数据 服务器集群 服务器运行 系统信息 方法和装置 数据存储 存储 服务器 申请 | ||
本申请公开了数据存储方法和装置。该方法的一具体实施方式包括:获取分布式文件系统的系统信息;建立与该分布式文件系统的连接;周期性地采集该分布式文件系统的系统运行数据,并将所采集的系统运行数据与该系统信息对应存储;建立与该分布式文件系统运行于其上的服务器集群中每个服务器的连接;周期性地采集该服务器集群中各个服务器的服务器运行数据,并将所采集的服务器运行数据与该系统信息对应存储。该实施方式实现了采集并存储分布式文件系统的系统运行数据和分布式文件系统运行于其上的服务器集群的服务器运行数据。
技术领域
本申请涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及数据存储方法和装置。
背景技术
目前大数据业务普遍采用分布式文件系统作为业务载体。大数据的所有业务都运行在分布式文件系统上,分布式文件系统是大数据业务的核心系统。分布式文件系统与传统系统的最大区别之一就是分布式文件系统不是运行在单台的服务器上,而是运行在由众多服务器组成的服务器集群上。分布式文件系统利用其分布式、跨平台式设计实现了对服务器集群的统一管理和使用。
为了确保分布式文件系统的正常运行,需要实时采集分布式文件系统的系统运行数据和分布式文件系统运行于其上的服务器集群的服务器运行数据,并将采集后的数据提供给对分布式文件系统进行管理或监控的第三方服务器,以供第三方服务器根据接收到的数据对分布式文件系统和分布式文件系统运行于其上的服务器集群进行管理或监控。
然而,现有技术中对分布式文件系统的系统运行数据进行采集的方法仅限于采集一指定分布式文件系统的系统运行数据,不能同时采集多个可根据用户需求定制的分布式文件系统的系统运行数据,而且所采集的系统运行数据中的系统运行参数的内容是固定的,不能根据用户的需求进行定制。从而使得第三方服务器不能同时监控多个分布式文件系统,以及不能灵活的定制采集的系统运行数据中系统运行参数的内容,从而降低了第三方服务器对分布式文件系统进行监控或管理的监控效率或管理效率。
发明内容
本申请的目的在于提出一种改进的数据存储方法和装置,来解决以上背景技术部分提到的技术问题。
第一方面,本申请提供了一种数据存储方法,该方法包括:获取分布式文件系统的系统信息;建立与上述分布式文件系统的连接;周期性地采集上述分布式文件系统的系统运行数据,并将所采集的系统运行数据与上述系统信息对应存储;建立与上述分布式文件系统运行于其上的服务器集群中每个服务器的连接;周期性地采集上述服务器集群中各个服务器的服务器运行数据,并将所采集的服务器运行数据与上述系统信息对应存储。
在一些实施例中,上述方法还包括:接收第三方服务器发来的数据查询请求,上述数据查询请求包括查询条件信息,上述查询条件信息包括待查询系统信息;查询与上述查询条件信息对应的系统运行数据和服务器运行数据;将查询到的系统运行数据和服务器运行数据发送给上述第三方服务器。
在一些实施例中,上述将查询到的系统运行数据和服务器运行数据发送给上述第三方服务器,包括:对查询到的系统运行数据和服务器运行数据进行去重复和排序处理,得到处理后的系统运行数据和服务器运行数据;将上述处理后的系统运行数据和服务器运行数据发送给上述第三方服务器。
在一些实施例中,上述建立与上述分布式文件系统的连接之后,上述方法还包括:获取上述分布式文件系统的预设系统运行参数;以及上述周期性地采集上述分布式文件系统的系统运行数据,包括:周期性地采集上述分布式文件系统的预设系统运行参数的参数值。
在一些实施例中,上述建立与上述分布式文件系统运行于其上的服务器集群中每个服务器的连接之后,上述方法还包括:获取上述分布式文件系统运行于其上的服务器集群的预设服务器运行参数;以及上述周期性地采集上述服务器集群中各个服务器的服务器运行数据,包括:周期性地采集上述服务器集群中各个服务器的预设服务器运行参数的参数值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710017359.3/2.html,转载请声明来源钻瓜专利网。
- 上一篇:网页作弊检测
- 下一篇:推广链接地址处理方法、客户端、服务器和系统