[发明专利]数据处理方法、装置、电子设备、系统和存储介质

说明书

本发明实施例公开了一种数据处理方法、装置、电子设备、系统和存储介质，该数据处理方法包括：从目标服务器集群中确定出数据分片存储的第一目标服务器；生成该数据分片对应的任务，并为该任务获取分布式锁；在成功获取分布式锁时，执行该任务以将该数据分片写入第一目标服务器，本发明实施例能够避免任务并发度过大时过度占用集群资源而产生异常。

技术领域

本发明涉及计算机技术，尤其涉及一种数据处理方法、装置、电子设备、系统和存储介质。

背景技术

Clickhouse作为一款优秀的列式即席查询引擎，因其查询性能出色，运用越来越广泛，Clickhouse不仅支持列式存储，还支持向量化引擎、索引式查询等。在使用Clickhouse作为联机分析处理(Online Analytical Processing，OLAP)引擎时，经常需要将存在于外部服务器中的数据导入Clickhouse中。在实现本发明的过程中，发明人发现，目前常用的将外部服务器中的数据导入Clickhouse的方案，容易产生异常。

发明内容

本发明实施例提供一种数据处理方法、装置、电子设备、系统和存储介质，能够减少异常的产生。

第一方面，本发明实施例提供一种数据处理方法，所述方法包括：

从目标服务器集群中确定出数据分片存储的第一目标服务器；

生成所述数据分片对应的任务，并为所述任务获取分布式锁；

在成功获取所述分布式锁时，执行所述任务以将所述数据分片写入所述第一目标服务器。

第二方面，本发明实施例提供一种数据处理装置，所述装置包括：

确定模块，用于从目标服务器集群中确定出数据分片存储的第一目标服务器；

获取模块，用于生成所述数据分片对应的任务，并为所述任务获取分布式锁；

执行模块，用于在成功获取所述分布式锁时，执行所述任务以将所述数据分片写入所述第一目标服务器。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的数据处理方法。

第四方面，本发明实施例还提供了一种数据处理系统，包括源服务器、目标服务器集群、Redis服务器以及用于执行本发明实施例中任一所述的数据处理方法的电子设备。

第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据处理方法。

本发明实施例中，可以从目标服务器集群中确定出数据分片存储的第一目标服务器，生成数据分片对应的任务，并为该任务获取分布式锁，在成功获取分布式锁时，执行该任务以将数据分片写入第一目标服务器。即本发明实施例中，每个数据分片有固定写入的目标服务器，确保了同一数据分片写入失败重试时，仍能写入同一目标服务器，且通过分布式锁控制数据写入任务，在成功获取分布式锁时，才执行对应的数据写入任务，确保了目标服务器上每次只有一个任务执行写入，避免了任务并发度过大时过度占用集群资源而产生的异常。

附图说明

图1是本发明实施例提供的数据处理方法的一个流程示意图。

图2是本发明实施例提供的数据处理方法的另一流程示意图。

图3是本发明实施例提供的数据处理装置的一个结构示意图。

图4是本发明实施例提供的数据处理系统的一个结构示意图。

图5是本发明实施例提供的电子设备的一个结构示意图。

具体实施方式