[发明专利]任务定时调度方法、装置、设备及计算机可读存储介质

说明书

本公开实施例公开了一种任务定时调度方法、装置、电子设备及计算机可读存储介质，所述任务定时调度方法包括：响应于检测到定时调度任务注册操作，从定时调度任务注册信息中获取任务调度时间和任务数据量，并将任务数据存储至第一存储空间中；基于所述任务调度时间和任务数据量计算得到将所述任务数据从第一存储空间迁移至第二存储空间的迁移时间；响应于到达迁移时间，将所述任务数据从第一存储空间迁移至第二存储空间。该技术方案基于不同存储空间之间的数据迁移实现了数据的先行准备，因此，即使在处理数量巨大比如海量待执行任务时，仍然能够有效保障任务定时批量处理的高吞吐率和及时性。

技术领域

本公开涉及任务调度技术领域，具体涉及一种任务定时调度方法、装置、设备及计算机可读存储介质。

背景技术

随着数据处理需求以及数据处理技术的发展，数据任务的批量处理得到了广泛的应用，数据任务的批量处理指的是多条数据任务同时输入，自动执行，执行后会将执行结果发送给请求方。数据任务的定时批量处理是在上述批量处理的基础上，让任务在指定时间点被处理，比如定时批量发工资、日志系统中定时批量清理日志等等，其中某些应用场景对于数据任务定时批量处理的及时性要求较高，即希望准时在指定时间点完成批量任务处理，比如金融场景中的股票定时交易等等，在该场景下，任务的执行延迟可能会带来不可估量的损失。但如果待执行任务数量巨大，比如海量任务数据，如何同时保证任务定时批量处理的高吞吐率和及时性是一个广为关注的课题。

发明内容

本公开实施例提供一种任务定时调度方法、装置、电子设备及计算机可读存储介质。

第一方面，本公开实施例中提供了一种任务定时调度方法。

具体的，所述任务定时调度方法，包括：

响应于检测到定时调度任务注册操作，从定时调度任务注册信息中获取任务调度时间和任务数据量，并将任务数据存储至第一存储空间中；

基于所述任务调度时间和任务数据量计算得到将所述任务数据从第一存储空间迁移至第二存储空间的迁移时间；

响应于到达迁移时间，将所述任务数据从第一存储空间迁移至第二存储空间。

结合第一方面，本公开在第一方面的第一种实现方式中，所述基于所述任务调度时间和任务数据量计算得到将所述任务数据从第一存储空间迁移至第二存储空间的迁移时间，包括：

基于所述任务数据量估计得到将所述任务数据从第一存储空间迁移至第二存储空间所需的估计迁移时长；

基于所述任务调度时间和估计迁移时长计算得到将所述任务数据从第一存储空间迁移至第二存储空间的迁移时间。

结合第一方面和第一方面的第一种实现方式，本公开实施例在第一方面的第二种实现方式中，所述基于所述任务数据量估计得到将所述任务数据从第一存储空间迁移至第二存储空间所需的估计迁移时长，包括：

获取参考数据迁移速度；

将所述任务数据量除以所述参考数据迁移速度，得到将所述任务数据从第一存储空间迁移至第二存储空间所需的估计迁移时长。

结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式，本公开实施例在第一方面的第三种实现方式中，所述基于所述任务调度时间和估计迁移时长计算得到将所述任务数据从第一存储空间迁移至第二存储空间的迁移时间，包括：

将所述任务调度时间减去所述估计迁移时长，得到将所述任务数据从第一存储空间迁移至第二存储空间的迁移时间。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式，本公开实施例在第一方面的第四种实现方式中，所述估计迁移时长大于将所述任务数据从第一存储空间迁移至第二存储空间所需的实际迁移时长。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式和第一方面的第四种实现方式，本公开实施例在第一方面的第五种实现方式中，还包括：