[发明专利]分布式任务处理方法及系统和存储介质

说明书

本发明实施例涉及云服务技术领域，公开了一种分布式任务处理方法及系统和存储介质。其包括：第一节点接收资源的数据，根据资源的信息得到资源对应的数据存储单元，并将资源的数据存储在对应的数据存储单元中；第二节点响应于第三节点的请求，向第三节点返回参与处理所述资源的数据的第三节点的数量；第三节点根据参与处理资源的数据的第三节点的数量以及第一节点中的数据存储单元的数量确定各自对应的目标数据存储单元，并从目标数据存储单元中获取对应的资源的数据进行处理。本发明不仅可减少对处理任务的竞争带来的消耗，而且可保证所有的任务均被及时处理。

技术领域

本发明涉及云服务技术领域，特别涉及一种分布式任务处理方法及系统和存储介质。

背景技术

随着科技的发展，云服务的应用越来越广泛。在云服务系统中，通过一些节点监测云服务的虚拟机的CPU以及内存等的资源的使用率等数据，供用户决策是否需要扩容。同时，还需要对资源的数据做其他处理，例如计算CPU使用率平均值等，以便更好地维护云服务。在对资源的数据做其他处理时，例如每分钟接收到一个资源的一条相关数据，并需要在单位时间处理完接收到的新数据。其中，同一资源的数据之间相关，而不同资源的数据之间互不相关，因此同一个资源的数据不能同时被多个节点处理，避免出现错误。由于云服务系统的资源不断增长，需要处理的数据量也持续增长，所以采用分布式系统对资源的数据进行处理。分布式系统便于扩展，可以灵活增加系统的处理能力。

现有的分布式系统中采用以下方法分配资源的数据处理任务：通过第一节点将接收到的新数据放入一个集合里(例如Redis的data集合中)，处理数据的节点(以下简称第二节点)通过遍历这个集合，获取到所有需要处理的数据，根据数据与资源的对应关系，得到所有需要处理的资源，并对资源进行排序，同时获取所有第二节点，并进行排序，然后根据本第二节点的顺序和需要处理的任务数量，从所有资源中按顺序截取对应数量的资源作为本第二节点需要处理的任务。其中，每个第二节点处理的资源数量例如为进程数乘以每个进程的任务数(常量)。由于接收数据和处理数据同步动态进行，所以所有第二节点不是同时获取任务，因此，每个第二节点获取到的所有任务资源列表可能会不一致，而各第二节点仅截取属于本节点的任务，因此在截取的任务之间可能有一部分任务没有被分配出去，导致任务在这一分钟内没有被处理，并且可能导致同一个资源的数据长时间不被处理。比如，第一节点接收到50个新数据，此时第二节点A得到当前有两个第二节点(第二节点A以及B)共同处理新数据，则第二节点A会截取25个资源的新数据进行处理，当第二节点B进行处理时，第一节点又接收到10个新数据，则第二节点B得到每个节点应处理30个新数据，因此第二节点B会截取第31～60个新数据进行处理，这样第25～30个数据则可能会一直得不到处理，因此，需要重启服务，改变各第二节点获取任务列表的时间及各第二节点的节点顺序来处理没有被处理的任务。同时，上述方法中各第二节点在任务的分配上可能会出现竞争，导致额外的时间消耗，并且还可能会导致排列在后面的第二节点没有任务处理，影响处理效率。

发明内容

本发明实施方式针对现有技术问题之一提供一种分布式任务处理方法及系统和存储介质，不仅可减少对处理任务的竞争带来的消耗，而且可保证所有的任务均被及时处理。

为解决上述技术问题，本发明的实施方式提供了一种分布式任务处理方法，应用于分布式系统，所述分布式系统包括第一节点、第三节点以及若干个第二节点，所述第二节点分别与所述第一节点和所述第三节点通信连接；所述方法包括：

所述第一节点接收资源的数据，根据所述资源的信息得到所述资源对应的数据存储单元，并将所述资源的数据存储在对应的数据存储单元中；其中，所述资源和所述数据存储单元均为多个；

所述第三节点响应于所述第二节点的请求，向所述第二节点返回参与处理所述资源的数据的第二节点的数量；

所述第二节点根据所述参与处理所述资源的数据的第二节点的数量以及所述第一节点中的数据存储单元的数量确定各自对应的目标数据存储单元，并从所述目标数据存储单元中获取对应的资源的数据进行处理。