[发明专利]一种数据流图处理方法、装置、设备以及可读存储介质

说明书

本申请实施例公开了一种数据流图处理方法、装置、设备及可读存储介质，本申请属于计算机技术领域，方法包括：获取原始数据流图，解析原始数据流图；若解析出原始数据流图包括至少两个逐元素操作节点、待聚合操作节点以及张量形变节点，则检测张量形变节点在原始数据流图中的位置；若张量形变节点位于目标逐元素操作节点和待聚合操作节点之间，则根据目标逐元素操作节点在原始数据流图中的位置，更新张量形变节点在原始数据流图中的位置，得到更新数据流图；在更新数据流图中，对至少两个逐元素操作节点以及待聚合操作节点进行节点聚合优化，得到数据优化流图。采用本申请，可以提高数据流图系统资源的利用率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据流图处理方法、装置、设备以及可读存储介质。

背景技术

数据流图(Data Flow Diagram，DFD)是结构化分析方法中使用的工具,它以图形的方式描绘数据在系统中流动和处理的过程，由于它只反映系统必须完成的逻辑功能，所以它是一种功能模型。从数据传递和加工角度来说，数据流图以图形方式来表达系统的逻辑功能、数据在系统内部的逻辑流向和逻辑变换过程，是结构化系统分析方法的主要表达工具及用于表示软件模型的一种图示方法。

在应用场景上，数据流图的应用可以为，用户先编写数据流图，再将编写好的数据流图提交到流计算平台上，流计算平台可以解析数据流图，然后调度到不同的物理机器上分布式执行，进而实现不同的业务场景。对于部分数据流图，可能存在具有相同操作方式的节点，由于每个节点都需要进行资源分配，所以对于具有相同操作方式的节点就可能会导致资源冗余分配，从而造成系统资源浪费。

申请内容

本发明实施例提供一种数据流图处理方法、装置、设备以及可读存储介质，可以提高数据流图系统资源的利用率。

本申请实施例一方面提供一种数据流图处理方法，包括：

获取原始数据流图，解析上述原始数据流图；

若解析出上述原始数据流图包括至少两个逐元素操作节点、待聚合操作节点以及张量形变节点，则检测上述张量形变节点在上述原始数据流图中的位置；

若上述张量形变节点位于目标逐元素操作节点和上述待聚合操作节点之间，则根据上述目标逐元素操作节点在上述原始数据流图中的位置，更新上述张量形变节点在上述原始数据流图中的位置，得到更新数据流图；上述至少两个逐元素操作节点包括上述目标逐元素操作节点；上述更新数据流图中的上述目标逐元素操作节点与上述待聚合操作节点相连接；

在上述更新数据流图中，对上述至少两个逐元素操作节点以及上述待聚合操作节点进行节点聚合优化，得到数据优化流图。

本申请实施例一方面提供一种数据流图处理装置，包括：

流图解析模块，用于获取原始数据流图，解析上述原始数据流图；

位置检测模块，用于若解析出上述原始数据流图包括至少两个逐元素操作节点、待聚合操作节点以及张量形变节点，则检测上述张量形变节点在上述原始数据流图中的位置；

位置更新模块，用于若上述张量形变节点位于目标逐元素操作节点和上述待聚合操作节点之间，则根据上述目标逐元素操作节点在上述原始数据流图中的位置，更新上述张量形变节点在上述原始数据流图中的位置，得到更新数据流图；上述至少两个逐元素操作节点包括上述目标逐元素操作节点；上述更新数据流图中的上述目标逐元素操作节点与上述待聚合操作节点相连接；

聚合优化模块，用于在上述更新数据流图中，对上述至少两个逐元素操作节点以及上述待聚合操作节点进行节点聚合优化，得到数据优化流图。

其中，上述至少两个逐元素操作节点之间为并列关系；；

上述位置更新模块，包括：