[发明专利]一种节点工作流通信开销效率分析优化方法及系统

说明书

本发明涉及一种节点工作流通信开销效率分析优化方法及系统，所述节点工作流通信开销效率分析优化方法，包括：在客户端的所有待分析工作节点上注入性能分析优化代码；分别统计客户端的各节点收到其它节点以及发送到其它节点的数据流量，性能分析优化代码统计所在的工作节点的工作流线程资源占用率、线程工作属性以及收发数据量，并将统计数据周期性地发送到监控处理端；监控处理端根据统计数据，分析节点的线程工作效率以及节点间工作流执行效率，并根据分析结果，结合用户预设定的阈值，对节点工作线程周期性进行拆分或归并，调整节点间工作流顺序。本发明实施例降低网络中与设备内部进程间的通信负载，显著提高了基于终端设备节点工作流的性能。

技术领域

本发明涉及分布式计算和通信机制领域，尤其涉及一种节点工作流通信分析优化方法及系统。

背景技术

近几年，面向大规模数据的分布式实时计算应用发展非常迅速，当前计算仍以云端和拥有大型计算能力的服务器为主，而更为贴近用户的海量终端资源则相对被浪费，庆幸的是，当前已有一部分研究和实际计算将目光集中到更靠近用户的终端上。典型的终端设备有手机、PAD、机顶盒、树莓派、路由器等。根据实际需求，一个计算任务可以被设计为一个工作流来运行。工作流是指一类能够完全自动执行的经营过程，根据一系列过程规则，将文档、信息或任务在不同的执行者之间进行传递与执行，如图1为工作流一个实例。一个工作流完成一项任务，一个工作流有多个阶段，一个阶段可以有一个或多个节点，实际执行中，一个节点内根据需求会有多个工作线程。

随着软硬件的不断发展，终端设备的一些先天的弱点如CPU能力弱、功耗低、处理能力有限、内存等资源可用的十分有限等已经逐渐得到缓解，而在计算的过程中，设备之间的大量通信仍会消耗大量资源，同时也会影响设备中其他应用的性能，如何降低工作流中节点之间的通信开销，必将成为一个需要解决的问题。

发明内容

本发明为了解决现有技术中基于终端设备节点建立的工作流通信开销问题，提出了一种节点工作流通信分析优化方法及系统，主要通过对实际参与工作节点通信数据量的分析，将需要改进的工作节点和参与工作进程筛选出来，并通过优化将设备间、进程间通信转化为更为快速并开销更低的线程间通信来实现的。

为实现上述目的，本发明一方面提供了一种节点工作流通信开销效率分析优化方法，包括:在客户端的所有待分析工作节点上注入性能分析优化代码；分别统计客户端的各节点收到其它节点以及发送到其它节点的数据流量，所述性能分析优化代码统计所在的工作节点的工作流线程资源占用率、线程工作属性以及收发数据量，并将统计数据周期性地发送到监控处理端；监控处理端根据所述统计数据，分析节点的线程工作效率以及节点间工作流执行效率，并根据分析结果，结合用户预设定的阈值，对节点工作线程周期性进行拆分或归并，调整节点间工作流顺序。

优选地，所述性能分析优化代码统计所在的工作节点的工作流线程资源占用率、线程工作属性以及收发数据量步骤，包括：所述性能分析优化代码注入到节点的各工作线程中，统计线程的CPU和内存资源占用率；所述收发数据量为工作线程与其它节点的收发数据量以及与节点内部其它线程的收发数据量。

优选地，所述监控处理端根据所述统计数据，分析节点的线程工作效率以及节点间工作流执行效率，包括：所述监控处理端通过分析统计数据获得节点收发数据比值和工作线程收发数据比值；当所述节点收发数据比值和所述工作线程收发数据比值高于用户设定阈值时，则判定节点的线程通信效率高；当所述节点内线程通信效率高的线程百分比值高于用户设定阈值，以及每个节点间相互通信数据均衡，则判定节点间工作流执行的通信效率高。

优选地，所述对节点工作线程周期性进行拆分或归并，调整节点间工作流顺序，包括：根据需求拆分通信数据多在节点外部的工作线程所在的节点；将通信效率低的工作线程根据需求分配到其他节点；将相互之间的通信量较大节点的工作进程合并到同一节点。

优选地，所述监控处理端可部署在节点管理服务器、任务管理服务器和单独服务器上。