[发明专利]数据存储方法及装置

说明书

本发明实施例公开了一种数据存储方法及装置，涉及数据处理技术领域。其中方法包括：获取监控指标的多个样本数据；将所述多个样本数据逐个存储到本地内存和临时缓存队列；监听所述临时缓存队列，当所述临时缓存队列中存储有所述样本数据时，在有空闲线程的情况下，启动空闲线程来将所述样本数据存储到远程存储队列；以及将所述远程存储队列中的所述样本数据存储到远程数据库。多个线程同时进行克隆指标、添加额外标签、重新调整标签的操作以将样本数据存储到远程存储队列，保证临时缓存队列不被打满。降低了将样本数据存入远程数据库的时间，提高了样本数据的存储效率。

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据存储方法及装置。

背景技术

无论是车间生产流水线，还是大数据云计算等集群类服务，都需要进行系统的监控和告警，从而尽早发现潜在问题，规避风险，保证服务的持续正常运转。目前，通常采用诸如Ganglia等集群监控系统对集群设备中目标设备的监控指标进行监控，采集监控样本数据，并将监控样本数据存储在数据库中。

相关技术中，存储监控样本数据的方式结合了本地存储和远程存储两种方式，即将监控样本数据存储到本地内存和远程数据库中。在这种存储方式中，应用服务器通过访问本地内存获取监控样本数据，与该应用服务器属于同一应用服务器集群的其他应用服务器通过访问远程数据库获取监控样本数据。然而，目前，将监控样本数据存入本地内存和写入远程数据库的存储操作是串行操作，只有当一个监本样本数据完成存入本地内存和写入远程数据库的串行操作之后，才能读取下一个监控样本数据进而将下一个监控样本数据存入本地内存和写入远程数据库。当监控样本数据的样本数非常大时，会导致将全部样本数据写入本地内存和远程数据库的整体时间过长，降低监控样本数据的存储效率。

发明内容

为了克服相关技术中存在的将监控样本数据存入本地内存和写入远程数据库的耗时长、存储效率低的问题，本发明实施例提供了一种数据存储方法和装置，多个线程同时进行克隆指标、添加额外标签、重新调整标签的操作以将样本数据存储到远程存储队列，保证临时缓存队列不被打满。降低了将样本数据存入远程数据库的时间，提高了样本数据的存储效率。

根据本发明的一方面，提供一种数据存储方法，其特征在于，包括：

获取监控指标的多个样本数据；

将所述多个样本数据逐个存储到本地内存和临时缓存队列；

监听所述临时缓存队列，当所述临时缓存队列中存储有所述样本数据时，在有空闲线程的情况下，启动空闲线程来将所述样本数据存储到远程存储队列；以及

将所述远程存储队列中的所述样本数据存储到远程数据库。

优选地，所述的数据存储方法，还包括：

监听所述临时缓存队列，当所述临时缓存队列中存储有所述样本数据时，在没有空闲线程的情况下，等待处于工作状态的线程工作完毕后，启动空闲线程来将所述样本数据存储到所述远程存储队列。

优选地，所述将所述多个样本数据逐个存储到本地内存和临时缓存队列，包括：

逐个读取所述多个样本数据，将当前读取的所述样本数据作为第一样本数据；

判断所述第一样本数据是否已经被标记为被丢弃；

如果所述第一样本数据已经被标记为被丢弃，则读取下一个所述样本数据；

如果所述第一样本数据没有被标记为被丢弃，则将所述第一样本数据存储到所述本地内存和所述临时缓存队列。

优选地，所述将所述第一样本数据存储到所述本地内存和所述临时缓存队列，包括：

判断所述本地内存中是否存在所述第一样本数据所属于的所述监控指标对应的本地存储单元；