[发明专利]联机小批量数据处理方法、装置、设备及存储介质

权利要求书

1.一种联机小批量数据处理方法，其特征在于，包括：

在每日日切前根据次日的排程生成次日的作业实例表，并写入缓存模块；所述作业实例表中包含对应作业任务的指定执行时间；

向执行器发送排程更新指令，以使所述执行器从所述缓存模块的作业实例表中，获取对应作业任务并根据对应作业任务的指定执行时间执行。

2.如权利要求1所述的联机小批量数据处理方法，其特征在于，所述在每日日切前根据次日的排程生成次日的作业实例表，包括：

在每日日切前从排程数据库中读取次日的排程；

根据所述排程中的作业定义、作业依赖和作业分片信息，生成次日的作业实例表。

3.如权利要求1所述的联机小批量数据处理方法，其特征在于，所述向执行器发送排程更新指令，包括：

向分布式协调组件发送排程更新指令，以使已订阅所述分布式协调组件的各个执行器在监听到排程更新指令时，从所述缓存模块拉取属于自己的作业任务。

4.如权利要求1所述的联机小批量数据处理方法，其特征在于，还包括：

当接收到针对所述作业实例表的操作请求时，根据所述操作请求对所述作业实例表执行对应操作。

5.如权利要求1所述的联机小批量数据处理方法，其特征在于，所述执行器的作业任务执行结果保存在所述缓存模块内。

6.如权利要求1所述的联机小批量数据处理方法，其特征在于，还包括：

当接收到运维控制指令时向分布式协调组件转发所述运维控制指令，以使已订阅所述分布式协调组件的各个执行器在监听到运维控制指令时，执行所述运维控制指令。

7.如权利要求1所述的联机小批量数据处理方法，其特征在于，所述作业实例表包括以下信息：

作业ID；

作业分片数；

作业运行起始时间；

实际运行起始时间；

实际运行结束时间；

目标执行器ID。

8.一种联机小批量数据处理装置，其特征在于，包括：

实例提供模块，用于在每日日切前根据次日的排程生成次日的作业实例表，并写入缓存模块；所述作业实例表中包含对应作业任务的指定执行时间；

指令发送模块，用于向执行器发送排程更新指令，以使所述执行器从所述缓存模块的作业实例表中，获取对应作业任务并根据对应作业任务的指定执行时间执行。

9.一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，其特征在于，所述计算机程序被所述处理器运行时，执行根据权利要求1-7任意一项所述方法的指令。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机设备的处理器运行时，执行根据权利要求1-7任意一项所述方法的指令。