[发明专利]联机小批量数据处理方法、装置、设备及存储介质

说明书

本说明书提供了一种联机小批量数据处理方法、装置、设备及存储介质，可以应用于金融领域或其他领域，该方法包括：在每日日切前根据次日的排程生成次日的作业实例表，并写入缓存模块；所述作业实例表中包含对应作业任务的指定执行时间；向执行器发送排程更新指令，以使所述执行器从所述缓存模块的作业实例表中，获取对应作业任务并根据对应作业任务的指定执行时间执行。本说明书以减轻调度中心在介于联机和批量之间的业务场景下的调度压力。

技术领域

本说明书涉及大数据处理技术领域，尤其是涉及一种联机小批量数据处理方法、装置、设备及存储介质。

背景技术

金融业务系统上绝大部分业务均可以通过联机(即实时)或者批量的方式实现。常见的对客业务均可通过联机交易完成，客户对交易结果实时性要求比较高，例如网上转账。批量业务主要针对大规模复杂数据处理，实时性要求不高的业务，例如日终账务清算、结息等。

此外，业务上还存在一些介于两者之间的业务，处理这些业务容易使金融业务系统的调度中心的调度压力过大。因此，如何减轻调度中心在介于联机和批量之间的业务场景下的调度压力，已成为目前亟待解决的技术问题。

发明内容

本说明书实施例的目的在于提供一种联机小批量数据处理方法、装置、设备及存储介质，以减轻调度中心在介于联机和批量之间的业务场景下的调度压力。

为达到上述目的，一方面，本说明书实施例提供了一种联机小批量数据处理方法，包括：

在每日日切前根据次日的排程生成次日的作业实例表，并写入缓存模块；所述作业实例表中包含对应作业任务的指定执行时间；

向执行器发送排程更新指令，以使所述执行器从所述缓存模块的作业实例表中，获取对应作业任务并根据对应作业任务的指定执行时间执行。

本说明书一实施例中，所述在每日日切前根据次日的排程生成次日的作业实例表，包括：

在每日日切前从排程数据库中读取次日的排程；

根据所述排程中的作业定义、作业依赖和作业分片信息，生成次日的作业实例表。

本说明书一实施例中，所述向执行器发送排程更新指令，包括：

向分布式协调组件发送排程更新指令，以使已订阅所述分布式协调组件的各个执行器在监听到排程更新指令时，从所述缓存模块拉取属于自己的作业任务。

本说明书一实施例中，所述方法还包括：

当接收到针对所述作业实例表的操作请求时，根据所述操作请求对所述作业实例表执行对应操作。

本说明书一实施例中，所述执行器的作业任务执行结果保存在所述缓存模块内。

本说明书一实施例中，所述方法还包括：

当接收到运维控制指令时向分布式协调组件转发所述运维控制指令，以使已订阅所述分布式协调组件的各个执行器在监听到运维控制指令时，执行所述运维控制指令。

本说明书一实施例中，所述作业实例表包括以下信息：

作业ID；

作业分片数；

作业运行起始时间；

实际运行起始时间；

实际运行结束时间；

目标执行器ID。

另一方面，本说明书实施例还提供了一种联机小批量数据处理装置，包括：

实例提供模块，用于在每日日切前根据次日的排程生成次日的作业实例表，并写入缓存模块；所述作业实例表中包含对应作业任务的指定执行时间；