[发明专利]一种集群数据处理方法、系统、设备以及介质

权利要求书

1.一种集群数据处理方法，其特征在于，包括基于每一个节点执行以下步骤：

接收待写入的数据对应的参数；

从所述参数中筛选出若干个参数并将筛选出的参数转换成键值对结构的数据；

将所述键值对结构的数据存储到第一存储空间；

响应于接收到其他节点发出的数据合并的广播，读取所述其他节点上的第一存储空间中的数据；

将读取到的数据合并到本地的第一存储空间中；

其中，还包括：

响应于被选择作为领导者，通知其他节点读取所述第一存储空间中的数据，并将所述第一存储空间中的数据持久化到文件中。

2.如权利要求1所述的方法，其特征在于，还包括：

响应于接收到数据读取的请求，根据所述请求中的索引参数判断待读取的数据是否存在于第二存储空间；

响应于不存在于第二存储空间，从所述文件中获取所述待读取的数据。

3.如权利要求2所述的方法，其特征在于，还包括：

对每个请求中的索引参数进行计数；

响应于所述待读取的数据对应的索引参数在预设时间段内被查询的次数达到阈值，将所述待读取的数据和对应的索引参数缓存到所述第二存储空间。

4.一种集群数据处理系统，其特征在于，包括：

接收模块，所述接收模块配置为接收待写入的数据对应的参数；

转换模块，所述转换模块配置为从所述参数中筛选出若干个参数并将筛选出的参数转换成键值对结构的数据；

存储模块，所述存储模块配置为将所述键值对结构的数据存储到第一存储空间；

读取模块，所述读取模块配置为响应于接收到其他节点发出的数据合并的广播，读取所述其他节点上的第一存储空间中的数据；

合并模块，所述合并模块配置为将读取到的数据合并到本地的第一存储空间中；

选择模块，所述选择模块配置为：

响应于被选择作为领导者，通知其他节点读取所述第一存储空间中的数据，并将所述第一存储空间中的数据持久化到文件中。

5.如权利要求4所述的系统，其特征在于，还包括读取模块，所述读取模块配置为：

响应于接收到数据读取的请求，根据所述请求中的索引参数判断待读取的数据是否存在于第二存储空间；

响应于不存在于第二存储空间，从所述文件中获取所述待读取的数据。

6.如权利要求5所述的系统，其特征在于，还包括缓存模块，所述缓存模块配置为：

对每个请求中的索引参数进行计数；

响应于所述待读取的数据对应的索引参数在预设时间段内被查询的次数达到阈值，将所述待读取的数据和对应的索引参数缓存到所述第二存储空间。

7.一种计算机设备，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-3任意一项所述的方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-3任意一项所述的方法的步骤。