[发明专利]一种集群数据处理方法、系统、设备以及介质

说明书

本发明公开了一种集群数据处理方法，包括以下步骤：接收待写入的数据对应的参数；从所述参数中筛选出若干个参数并将筛选出的参数转换成键值对结构的数据；将所述键值对结构的数据存储到第一存储空间；响应于接收到其他节点发出的数据合并的广播，读取所述其他节点上的第一存储空间中的数据；将读取到的数据合并到本地的第一存储空间中。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案能够解决集群在高可用模式下数据丢失的问题，并且降低了维护成本和技术风险。

技术领域

本发明涉及集群领域，具体涉及一种集群数据处理方法、系统、设备以及存储介质。

背景技术

人工智能平台基于InfluxDB数据库存储监控数据，在业务场景中需要保证数据的不丢失和服务的不间断运行，但是InfluxDB非企业版不支持高可用；基于成本控制和业务场景要求，现有技术中可以采用多数据同时写入的方案来保证数据的冗余备份，并且通过业务层代码控制切换InfluxDB可用服务。

但是针对InfluxDB本身的架构和实际的业务数据分析，发现在用户的实际场景中META中的数据最容易丢失，并且丢失之后会导致业务服务出现异常(各个节点中的InfluxDB数据混乱，业务数据会显示为负数等异常)。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种集群数据处理方法，包括以下步骤：

接收待写入的数据对应的参数；

从所述参数中筛选出若干个参数并将筛选出的参数转换成键值对结构的数据；

将所述键值对结构的数据存储到第一存储空间；

响应于接收到其他节点发出的数据合并的广播，读取所述其他节点上的第一存储空间中的数据；

将读取到的数据合并到本地的第一存储空间中。

在一些实施例中，还包括：

响应于被选择作为领导者，通知其他节点读取所述第一存储空间中的数据，并将所述第一存储空间中的数据持久化到文件中。

在一些实施例中，还包括：

响应于接收到数据读取的请求，根据所述请求中的索引参数判断待读取的数据是否存在于第二存储空间；

响应于不存在于第二存储空间，从所述文件中获取所述待读取的数据。

在一些实施例中，还包括：

对每个请求中的索引参数进行计数；

响应于所述待读取的数据对应的索引参数在预设时间段内被查询的次数达到阈值，将所述待读取的数据和对应的索引参数缓存到所述第二存储空间。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种集群数据处理系统，包括：

接收模块，所述接收模块配置为接收待写入的数据对应的参数；

转换模块，所述转换模块配置为从所述参数中筛选出若干个参数并将筛选出的参数转换成键值对结构的数据；

存储模块，所述存储模块配置为将所述键值对结构的数据存储到第一存储空间；

读取模块，所述读取模块配置为响应于接收到其他节点发出的数据合并的广播，读取所述其他节点上的第一存储空间中的数据；

合并模块，所述合并模块配置为将读取到的数据合并到本地的第一存储空间中。

在一些实施例中，还包括选择模块，所述选择模块配置为：

响应于被选择作为领导者，通知其他节点读取所述第一存储空间中的数据，并将所述第一存储空间中的数据持久化到文件中。