[发明专利]多计算引擎调度方法、装置、设备及存储介质

说明书

本申请实施例公开了一种多计算引擎调度方法、装置、设备及存储介质，该方法包括：根据数据库中的历史计算任务定义多个计算队列；根据预设规则给每个计算队列分配对应的计算引擎；匹配待计算任务和所述历史计算任务以确认目标历史计算任务，根据所述目标历史计算任务确认目标计算引擎；使用所述目标计算引擎对所述待计算任务进行计算。本发明实施例提供的一种多计算引擎调度方法，避免了相关技术中无法充分利用多个计算引擎的资源，也无法应对多用户的计算请求的情况，提升了计算引擎的利用效率，并且能够同时处理多个进程，提高了进程的处理速度。

技术领域

本申请实施例涉及计算板卡技术，尤其涉及一种多计算引擎调度方法、装置、设备及存储介质。

背景技术

相关技术中，应用多计算引擎平台，需要改善多计算引擎兼容情况、计算任务统一管理情况和未来引擎的扩展情况，因此，需要能够自动选择任务执行引擎，提高平台效率。相关技术中支持多计算引擎的平台，都不能避免上述情况。例如，Twitter SummingBird采用Lambda架构整合了分布式批处理引擎(Hadoop)和分布式流计算引擎(Storm)，在执行请求时可以整合批处理和流计算的结果，但其没有方便的引擎管理机制，同时没有提供引擎运行环境隔离；Apache Ambari基于Web实现，支持Apache Hadoop生态的供应、管理和监控，同时提供自定义接口，支持添加各类单机或分布式引擎，但其没有提供统一的计算任务管理，只能保证特定引擎兼容性，同时需要人工选择计算引擎执行计算任务；GoogleKubernete基于Docker实现，能够以容器的方式运行计算引擎，依据需求可以运行单机引擎和分布式引擎，提供容器的部署，调度和节点集群间扩展等功能，但其没有任务管理机制，同时也需要人工选择计算引擎。

多计算引擎平台无法充分利用多个计算引擎的资源，也无法应对多用户的计算请求。

发明内容

本发明实施例提供一种多计算引擎调度方法、装置、设备及存储介质，提升了计算引擎的利用效率，并且能够同时处理多个进程，提高了进程的处理速度。

第一方面，本申请实施例提供了一种多计算引擎调度方法，包括：根据数据库中的历史计算任务定义多个计算队列；根据预设规则给每个计算队列分配对应的计算引擎；匹配待计算任务和所述历史计算任务以确认目标历史计算任务，根据所述目标历史计算任务确认目标计算引擎；使用所述目标计算引擎对所述待计算任务进行计算。

可选的，所述多个计算队列根据优先级顺序划分为第一优先级队列和第二优先级队列，所述第一优先级队列的优先级低于所述第二优先队列的优先级。

可选的，在所述第一优先级队列和所述第二优先级队列对应的计算引擎至少有一个相同，且所述第一优先级队列和所述第二优先级队列同时需要对待计算任务进行处理的情况下，将计算引擎分配给所述第二优先级队列。

可选的，在将计算引擎分配给所述第二优先级队列之后，还包括：

在所述第二优先级队列对应的计算引擎完成所述待计算任务后，将所述第一优先级队列对应的计算引擎分配给所述第一优先级队列。

可选的，所述预设规则为：所述第二优先级队列分配的计算引擎数量大于所述第一优先级队列分配的计算引擎数量。

可选的，所述匹配待计算任务和所述历史计算任务以确认目标历史计算任务，根据所述目标历史计算任务确认目标计算引擎包括：

根据所述待计算任务请求计算引擎；

判断所述待计算任务是否为目标历史计算任务，基于所述待计算任务是目标历史计算任务的判断结果，将所述待计算任务划分到所述历史计算任务所属队列，并确认目标计算引擎。

可选的，基于所述待计算任务不是目标历史计算任务的判断结果，生成新的计算队列并将所述待计算任务划分到所述新的计算队列中；

根据预设规则给所述新的计算队列分配目标计算引擎。