[发明专利]一种数据处理方法、系统、设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括以下过程：

获取数据分类集合中各分区的批量待处理数据；

将每一分区的所述批量待处理数据切割为多个容量相同的子数据集合，依次保存至内存队列的数据槽中，每个子数据集合对应一个数据槽；

使用预设的处理函数按照所述内存队列依次读取每一所述数据槽中的所述子数据集合的信息，对所述批量待处理数据进行处理。

2.根据权利要求1所述的数据处理方法，其特征在于，所述将每一分区的所述批量待处理数据切割为多个容量相同的子数据集合，依次保存至内存队列的数据槽中，包括：

将每一分区的所述批量待处理数据切割为多个容量相同的子数据集合，并根据数据处理的任务，建立与子数据集合对应的检查点；

将当前子数据集合和对应的检查点封装成一个事件，保存至内存队列的一个数据槽中。

3.根据权利要求1所述的数据处理方法，其特征在于，所述获取数据分类集合中各分区的批量待处理数据，包括：

若内存队列的数据槽的数量小于预设消费者的数量，拉取数据分类集合中预存的消费者记录列表；

读取所述消费者记录列表中的各分区列表的数据信息，并选择其中一个分区列表，获取当前分区的批量待处理数据。

4.根据权利要求3所述的数据处理方法，其特征在于，所述拉取数据分类集合中预存的消费者记录列表之前，还包括：设置数据分类集合中数据拉取的频率、数据处理的频率、生产者数量和消费者数量。

5.根据权利要求3所述的数据处理方法，其特征在于，所述读取所述消费者记录列表中的各分区列表的数据信息之后，还包括：若各分区列表的数据信息读取完毕，获取预设的检查点的数据。

6.根据权利要求5所述的数据处理方法，其特征在于，所述获取预设的检查点的数据之前，还包括：

获取检查点分布图；

根据所述检查点分布图中各分区的键值，获取各分区对应的检查点列表，所述检查点列表包含当前分区已拉取数据的检查点；

计算各分区的检查点列表，获取各分区对应的标志点，并提交各标志点对应的偏移量。

7.根据权利要求1所述的数据处理方法，其特征在于，所述使用预设的处理函数按照所述内存队列依次读取每一所述数据槽中的所述子数据集合的信息之后，还包括：获取所述数据传输任务中预设的检查点的数据。

8.一种数据处理系统，其特征在于，所述系统包括：

单线程模块，用于在一个线程内部完成数据的拉取与处理；

多线程模块，用于在多个线程内完成数据的拉取与处理；

生产者消费者模块，用于获取数据分类集合中各分区的批量待处理数据，将每一分区的所述批量待处理数据切割为多个容量相同的子数据集合，依次保存至内存队列的数据槽中，每个子数据集合对应一个数据槽；使用预设的处理函数按照所述内存队列依次读取每一所述数据槽中的所述子数据集合的信息，对所述批量待处理数据进行处理。

9.一种数据处理设备，其特征在于：包括处理器，所述处理器与存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于：包括程序，当所述程序在计算机上运行时，执行如权利要求1至7中任一项所述的方法。