[发明专利]一种作业分流方法、装置及计算设备

说明书

本发明公开了一种作业分流方法、装置及计算设备，该方法包括：对用户提交的作业进行检测，以识别作业运行时需调用的一个或多个应用软件；基于资源压力评分表，根据作业运行时需调用的一个或多个应用软件，确定作业对应的密集资源；计算集群中全部作业对各资源所形成的压力的总评分；若存在总评分超出对应阈值的资源，则确认总评分超出对应阈值的资源与密集资源是否有重合；若总评分超出对应阈值的资源与密集资源有重合，则对作业进行分流处理。

技术领域

本发明涉及计算机技术领域，特别涉及一种作业分流方法、装置、计算设备及存储介质。

背景技术

由于一台计算机提供的计算能力有限，当有计算规模较大的作业（即计算任务）需要处理时，通常会使用集群来进行计算。集群是由多台作为节点的计算机通过内部高速网络互连组成的超级计算机，换言之，集群就是多个通过内部高速网络相互连接在一起节点的总称。

用户能通过共享使用集群的方式按需申请资源以完成作业，虽然集群能够按照用户的申请分配可用的资源，但集群的资源也是有限的，不可能在任意时刻都满足所有用户的资源需求，因此集群需要使用作业调度器来对资源进行合理调度分配。用户先将作业提交给作业调度器，然后由作业调度器再按照既定规则分发到节点上运行，最终获得运行结果。

集群上的不同用户，会根据自己的研究领域，选择相应的应用软件来运行作业。例如，生物信息学的用户使用FASTA（一种序列综合分析的应用软件，用于在数据库中查找同源序列）对DNA（DeoxyriboNucleic Acid，脱氧核糖核酸）序列进行相似性搜索。

不同的应用软件有不同的特征，按照应用软件资源占用（即负载）的特点，可以将应用软件分类，如计算密集型、输入输出密集型、网络密集型等。集群的设计通常在计算、输入输出和网络方面保持了一种平衡，如果一个集群上出现大量计算密集型的用户，或出现大量输入输出密集型的用户，或出现大量网络密集型的用户，都会因为单一资源被耗尽，从而影响集群上所有用户的正常使用。由于无法提前预知作业所占用的密集资源（即负载类型），则进行作业分流时不能确定哪些作业应该转发给其他集群运行，导致本集群的作业堆积严重，运行效率低下。

因此，需要一种新的作业分流方法来优化上述处理过程。

发明内容

为此，本发明提供一种作业分流方案，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种作业分流方法，该方法包括如下步骤：首先，对用户提交的作业进行检测，以识别作业运行时需调用的一个或多个应用软件；基于资源压力评分表，根据作业运行时需调用的一个或多个应用软件，确定作业对应的密集资源；计算集群中全部作业对各资源所形成的压力的总评分；若存在总评分超出对应阈值的资源，则确认总评分超出对应阈值的资源与密集资源是否有重合；若总评分超出对应阈值的资源与密集资源有重合，则对作业进行分流处理。

可选地，在根据本发明的作业分流方法中，对用户提交的作业进行检测，以识别作业运行时需调用的一个或多个应用软件的步骤，包括：获取用户提交的作业的脚本；将脚本与集群上各应用软件的调用标识进行匹配检测，以识别作业运行时需调用的一个或多个应用软件。

可选地，在根据本发明的作业分流方法中，资源压力评分表包括多个应用软件占用的各资源的评分信息，资源包括计算资源、输入输出资源、网络资源、内存资源、授权资源中至少一种。

可选地，在根据本发明的作业分流方法中，基于资源压力评分表，根据作业运行时需调用的一个或多个应用软件，确定作业对应的密集资源的步骤，包括：基于资源压力评分表，根据作业运行时需调用的一个或多个应用软件，确定作业对各资源所形成的压力的评分；将评分最高的资源作为作业对应的密集资源。

可选地，在根据本发明的作业分流方法中，计算集群中全部作业对各资源所形成的压力的总评分的步骤，包括：将集群中全部作业对各资源所形成的压力的评分分别求和，以计算出全部作业对各资源所形成的压力的总评分。