[发明专利]基于集群计算的数据批处理方法、装置、电子设备及介质

权利要求书

1.一种基于集群计算的数据批处理的方法，其特征在于，包括：

获取批量待处理数据；

将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对所述批量待处理数据进行并行处理；

接收各缓存服务返回的数据处理结果。

2.根据权利要求1所述的方法，其特征在于，所述获取批量待处理数据，包括：

接收客户端发送的数据处理信息；

根据所述数据处理信息，获取批量待处理数据；

所述数据处理信息包括以下任一项：

批量待处理数据；

携带批量待处理数据的数据处理请求；

携带批量待处理数据的至少一个存储地址的数据处理请求。

3.根据权利要求2所述的方法，其特征在于，当数据处理信息包括批量待处理数据或者所述数据处理请求中携带批量待处理数据时，所述将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，包括：

确定批量待处理数据中的各个待处理数据的键值；

根据CRC16算法确定各键值分别对应的缓存服务器标识码；

依据各缓存服务器标识码确定对应的缓存服务器，并将各个待处理数据分别发送至查找到的对应缓存服务器。

4.根据权利要求2所述的方法，其特征在于，当所述数据处理请求中携带批量待处理数据的多个存储地址时，所述将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，包括：

根据各个存储地址确定各个待处理数据对应的缓存服务器，以使得各缓存服务器从对应的存储地址中获取待处理数据。

5.根据权利要求3所述的方法，其特征在于，在将各个待处理数据分别发送至查找到的对应缓存服务器之前，还包括：

保存批量待处理数据中的各个待处理数据在逻辑关系上的先后执行顺序。

6.根据权利要求4所述的方法，其特征在于，在将各个存储地址分别发送给查找到的对应缓存服务器之前，还包括：

保存各个存储地址的先后排列顺序。

7.根据权利要求5或6所述的方法，其特征在于，在接收各缓存服务器返回的数据处理结果之后，还包括：

基于各个待处理数据在逻辑关系上的先后执行顺序或者各个存储地址的先后排列顺序，对接收到的各缓存服务器返回的数据处理结果进行重新组合；

将重新组合后的数据处理结果作为整体进行打包处理，得到数据包；

向客户端发送所述数据包。

8.一种基于集群计算的数据批处理的装置，其特征在于，包括：

获取模块，用于获取批量待处理数据；

处理模块，用于将获取到的批量待处理数据中的各个待处理数据按照预设的分发规则分别发送至对应的缓存服务器，以使得各缓存服务器对所述批量待处理数据进行并行处理；

接收模块，用于接收各缓存服务返回的数据处理结果。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述的基于集群计算的数据批处理的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-7任一项所述的基于集群计算的数据批处理的方法。