[发明专利]数据处理方法、装置、终端设备和存储介质

说明书

本发明涉及一种数据处理方法、装置、终端设备和存储介质，通过获取待处理的数据；将待处理的数据按照预设分片规则进行分片，得到数据分片，其中，数据分片至少包括起始标识和结束标识，预设分片规则至少包括业务逻辑、预设长度或预设字节大小中的一种或多种；将数据分片发送至多个服务器，以使服务器根据起始标识和结束标识，获取与起始标识和结束标识对应的数据分片内容，并执行与数据分片内容对应的操作，得到处理结果；接收多个服务器返回的处理结果，通过将待处理数据进行分片，在服务器集群环境下，多台服务器并行，将数据分片发送至多个服务器进行处理，每台服务器多线程并发处理数据分片的任务，提高业务处理效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、终端设备和存储介质。

背景技术

在一些业务系统中，常常会存在批量处理数据的业务，在数据量较大（超百万或千万）的情况下，需要对每条数据进行业务逻辑计算，然后再把计算结果更新到数据库里。

现有技术常见做法是在单台服务器上，使用多线程并发的方式对数据进行遍历处理。服务器在进行数据遍历的过程中，通常采用的是数据库分页查询的方式，多线程处理的时候，每个线程处理一页数据，线程里使用数据库分页的语法查询和遍历数据。

但是随着数据量的增大达到一定的量级以后，数据库的分页查询越往后的页查询的效率就会越低，而使用分页查询，也是无法根据业务逻辑将多个页的数据按业务需要进行隔离，这样多线程更新数据的时候也可能因为业务逻辑冲突而造成线程之间的数据更新相互相影响而导致数据库锁等待甚至死锁。

发明内容

本发明意在提供一种数据处理方法、装置、终端设备和存储介质，以解决现有技术中存在的不足，本发明要解决的技术问题通过以下技术方案来实现。

第一个方面，本发明实施例提供一种数据处理方法，所述方法包括：

获取待处理的数据；

将所述待处理的数据按照预设分片规则进行分片，得到数据分片，其中，所述数据分片至少包括起始标识和结束标识，所述预设分片规则至少包括业务逻辑、预设长度或预设字节大小中的一种或多种；

将所述数据分片发送至多个服务器，以使所述服务器根据所述起始标识和所述结束标识，获取与所述起始标识和所述结束标识对应的数据分片内容，并执行与所述数据分片内容对应的操作，得到处理结果；

接收多个所述服务器返回的处理结果。

可选地，所述将所述待处理的数据按照预设分片规则进行分片，得到数据分片，包括：

根据所述业务逻辑，确定预设个数的基础字段，且所述基础字段是高基数列；

根据所述预设个数的基础字段对所述待处理的数据进行分片，得到多个所述数据分片。

可选地，所述方法还包括：

通过服务器的预设应用程序，采用数据库游标以去重的方式，在预先建立的分片数据库中查找要处理的基础字段，其中，所述预先建立的分片数据库中包括以基础字段进行分片后的各个数据分片，各个数据分片包括数据分片属性和数据分片内容，所述数据分片属性包括所述起始标识和结束标识。

可选地，在所述服务器上设置多个业务处理线程，所述将所述数据分片发送至多个服务器，以使所述服务器根据所述起始标识和所述结束标识，获取与所述起始标识和所述结束标识对应的数据分片内容，并执行与所述数据分片内容对应的操作，得到处理结果，包括：

在所述服务器存在空闲的业务处理线程的情况下，在所述预先建立的分片数据库中，查找未执行状态的数据分片；

根据所述未执行状态的数据分片的起始标识和结束标识获取对应的目标数据分片内容；

将所述起始标识、所述结束标识和所述目标数据分片内容发送至存在空闲业务处理线程的目标服务器，以使所述目标服务器采用所述空闲的业务处理线程处理所述目标数据分片内容，得到处理结果，其中，所述处理结果还包括执行状态，所述执行状态至少包括执行中或执行完成中的一种。