[发明专利]一种数据存储方法及系统

说明书

技术领域

本发明涉及计算机技术，尤指一种数据存储方法及系统。

背景技术

无论是车间生产流水线，还是大数据云计算等集群类服务，都需要进行系统的监控和告警，从而尽早发现潜在问题，规避风险，保证服务的持续正常运转。

现有监控类系统通常采用采集代理(Agent)进行数据采集、数据库/文件存储、前端报表展现以及触发告警等一系列的串行流程。传统的监控场景，数据量相对较小，往往采用文件存储或者关系型数据库存储即可满足系统要求。随着监控场景的日趋复杂，要求监控时间周期更短，监控环节更多，监控指标更复杂，这些都增加了监控数据的量级，对监控系统的每个环节都提出了新的挑战，尤其监控数据的存储，不仅要满足任意时间点数据的即时可查，而且存储量要能横向扩展，横向扩展就是可以通过增加处理器或服务器来提升运算能力。然而通过文件或关系型数据库存储无法满足存储量的横向扩展。

发明内容

为了解决上述技术问题，本发明提供了一种数据存储方法及系统，可以实现数据存储量的横向扩展。

为了达到本发明目的，本发明提供了一种数据存储方法，所述方法包括：

云平台获取各监控指标信息对应的监控数据并写入分布式数据库Hbase中的监控数据明细表中；

当确定出存储所述监控数据明细表的集群服务器的存储负载超过预设负载阈值时，新增用于存储所述监控数据明细表的集群服务器。

进一步，所述方法还包括：

预先配置所述Hbase中的第一元数据表；所述第一元数据表中存储有所有用于存储监控数据明细表的集群服务器的设备标识信息，所述监控数据明细表与所述第一元数据表通过设备标识信息相关联；

当新增用于存储监控数据明细表的集群服务器时，将所述新增的集群服务器的设备标识信息添加到所述第一数据表中。

进一步，所述方法还包括：

预先配置Hbase中的第二元数据表；所述第二元数据表存储有各监控指标信息，所述监控数据明细表与所述第二元数据表通过监控指标信息相关联；

当新增监控指标信息时，将所述新增的监控指标信息添加到所述第二数据表中。

进一步，所述方法还包括：

将所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据备份到所述Hbase中的分布式文件系统HDFS文件。

进一步，所述方法还包括：

对所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据进行分析操作和/或查询操作。

本发明还提供一种数据存储系统，设置于云平台，所述系统包括：

写入模块，用于获取各监控指标信息对应的监控数据并写入分布式数据库Hbase中的监控数据明细表中；

控制模块，用于当确定出存储所述监控数据明细表的集群服务器的存储负载超过预设负载阈值时，新增用于存储所述监控数据明细表的集群服务器。

进一步，所述系统还包括：

配置模块，用于预先配置所述Hbase中的第一元数据表；所述第一元数据表中存储有所有用于存储监控数据明细表的集群服务器的设备标识信息，所述监控数据明细表与所述第一元数据表通过设备标识信息相关联；

所述写入模块，还用于当新增用于存储监控数据明细表的集群服务器时，将所述新增的集群服务器的设备标识信息添加到所述第一数据表中。

进一步，所述配置模块，还用于预先配置Hbase中的第二元数据表；所述第二元数据表存储有各监控指标信息，所述监控数据明细表与所述第二元数据表通过监控指标信息相关联；

所述写入模块，还用于当新增监控指标信息时，将所述新增的监控指标信息添加到所述第二数据表中。

进一步，所述系统还包括：

备份模块，用于将所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据备份到所述Hbase中的分布式文件系统HDFS文件。

进一步，所述系统还包括：

处理模块，用于对所述第一元数据表、所述第二元数据表或所述监控数据明细表中存储的数据进行分析操作和/或查询操作与现有技术相比，本发明公开了一种数据存储方法，所述方法包括：