[发明专利]一种用于机器学习的分布式资源调度方法及装置

权利要求书

1.一种用于机器学习的分布式资源调度方法，其特征在于，所述方法包括：

针对机器学习任务划分的多个并行处理的子任务，确定各个所述子任务需要的预用资源；

基于各个所述子任务需要的预用资源，从资源池的可用资源中为各个所述子任务分配不小于其预用资源的使用资源来处理各个所述子任务；

实时监测利用所述使用资源处理所述子任务的状态信息；所述状态信息包括每个所述子任务对其使用资源的利用率，以及利用所述使用资源处理所述子任务的时间规律；

根据监测到的利用所述使用资源处理所述子任务的时间规律，提前将利用率低的使用资源中的剩余资源调度给利用率高的使用资源中。

2.根据权利要求1所述一种用于机器学习的分布式资源调度方法，其特征在于，所述基于各个所述子任务需要的预用资源，从资源池的可用资源中为各个所述子任务分配不小于其预用资源的使用资源来处理各个所述子任务，包括：

自定义各个所述子任务的优先级；

基于所述子任务的优先级顺序从资源池的可用资源中为各个所述子任务分配不小于其预用资源的使用资源；其中，所述资源池的可用资源在给一所述子任务分配使用资源之后进行更新，根据更新后的所述资源池的可用资源给下一所述子任务分配使用资源。

3.根据权利要求2所述一种用于机器学习的分布式资源调度方法，其特征在于，通过以下方式处理所述子任务：

将所述子任务划分为并行处理的至少一个线程；

从所述使用资源中为每个所述线程分配消耗资源，利用所述消耗资源分别处理所述子任务中的各个线程。

4.根据权利要求3所述一种用于机器学习的分布式资源调度方法，其特征在于，所述实时监测利用所述使用资源处理所述子任务的状态信息，包括：

统计处理所述子任务各个线程的消耗资源，计算所述子任务的使用资源中的剩余资源以及使用资源的利用率；

基于所述使用资源的利用率获取处理所述子任务的时间规律，包括：

将所述使用资源的利用率高的时间段判定为处理所述子任务的时间段，将所述使用资源的利用率低的时间段判定为未处理所述子任务的时间段；

基于处理所述子任务的时间段和未处理所述子任务的时间段，确定处理所子任务的时间规律。

5.根据权利要求4所述一种用于机器学习的分布式资源调度方法，其特征在于，所述根据监测到的利用所述使用资源处理所述子任务的时间规律，提前将利用率低的使用资源中的剩余资源调度给利用率高的使用资源中，包括：

根据监测到的利用所述使用资源处理所述子任务的时间规律，确定待处理子任务；

确定当前使用资源利用率低的待调度子任务；

将所述待调度子任务的剩余资源调度至所述待处理子任务的使用资源中。

6.根据权利要求5所述一种用于机器学习的分布式资源调度方法，其特征在于，通过以下方式处理所述待处理子任务：

将所述待调度子任务的剩余资源分配至所述待处理子任务的使用资源之后，得到所述待处理子任务的待使用资源；

基于所述待使用资源为所述待处理子任务各个线程重新分配消耗资源，利用重新分配的消耗资源处理所述待处理子任务的各个线程。

7.根据权利要求1所述一种用于机器学习的分布式资源调度方法，其特征在于，基于所述子任务的类型确自定义所述子任务的优先级，其中，所述子任务包括数据准备、模型开发、模型训练、模型管理、模型部署中的一个或多个。