[发明专利]一种分布式数据存取系统

说明书

本发明公开了一种分布式数据存取系统，包括键值数据库、多个Prometheus及相应的读写适配器；其中：Prometheus用于：监听自身需要监听的服务以获取对应指标的指标数据，以及获取自身所对应的读写适配器返回的指标数据；读写适配器用于：获取自身所对应的Prometheus监听到的指标数据，并将获取的指标数据写入键值数据库，以及从键值数据库中查询自身所对应的Prometheus需要的指标数据，并返回查询到的指标数据；键值数据库用于：保存写入的指标数据以供查询。本申请能够提高存储空间及IOPS，能够在抓取大量服务数据时支持高并发存储和访问，且能够长期保存数据，对数据分析和挖掘是有利的。

技术领域

本发明涉及数据存取技术领域，更具体地说，涉及一种分布式数据存取系统。

背景技术

随着云计算和大数据时代的到来，服务器和微服务应用的数量都越来越多，可达上万甚至几十万数量。面向服务的监控是相对于传统面向IP地址监控而言，他把所有的计算能力抽象为对外提供服务的能力，是针对具体服务能力的监控。Prometheus是针对服务监控的一种开源解决方案，他提供了一个基于本地文件系统的时序数据库和一些收集各种服务指标的客户端代理；Prometheus有一套多维度数据模型、灵活的查询语句、易于单机部署和数据采集高效等优点被大多数互联网和初创公司广泛使用。但是Prometheus只提供保存指标数据到本地磁盘，由于本地存储空间有限，而且IOPS比较低，当需要抓取大量服务数据时，目前是不能支持高并发存储和访问的，而且不能长期保存数据，对数据分析和挖掘是不利的。

发明内容

本发明的目的是提供一种分布式数据存取系统，能够提高存储空间及IOPS，能够在抓取大量服务数据时支持高并发存储和访问，且能够长期保存数据，对数据分析和挖掘是有利的。

为了实现上述目的，本发明提供如下技术方案：

一种分布式数据存取系统，包括键值数据库、多个Prometheus以及分别与每个所述Prometheus对应的读写适配器；其中：

所述Prometheus用于：监听自身需要监听的服务以获取对应指标的指标数据，以及获取自身所对应的读写适配器返回的指标数据；

所述读写适配器用于：获取自身所对应的Prometheus监听到的指标数据，并将获取的指标数据写入所述键值数据库，以及从所述键值数据库中查询自身所对应的Prometheus需要的指标数据，并返回查询到的指标数据；

所述键值数据库用于：保存写入的指标数据以供查询。

优选的，所述读写适配器将获取的指标数据写入所述键值数据库具体为：将包含对应指标的指标名称、指标值及产生时间的指标数据构造为预设格式的数据后，写入所述键值数据库；

所述读写适配器从所述键值数据库中查询自身所对应的Prometheus需要的指标数据具体为：将需要查询的指标数据的指标名称及产生时间的范围传输至所述键值数据库，以查询相应的指标数据。

优选的，所述读写适配器将获取的指标数据构造为预设格式的数据具体为：基于获取的指标数据，构造包含指标名称、分隔符、产生时间及全局唯一ID的Key，以及包含指标值的Value，得到由构造的Key及Value组成的预设格式的数据。

优选的，所述读写适配器构造包含指标值的Value具体为：采用protobuf格式对获取的指标数据中的指标值进行序列化，以得到相应的二进制比特数组形式的Value。

优选的，所述键值数据库中包含有多个存储区域，且其中每至少两个存储区域之间互为备份。

优选的，还包括管理模块、中转模块及分别与每个所述Prometheus对应的代理模块；其中：

所述管理模块用于：配置需要监听的服务并发送至所述中转模块；