[发明专利]获取拓扑图数据对象的方法、装置、及电子设备

说明书

本申请实施例提供了一种获取拓扑图数据对象的方法、装置及电子设备，涉及数据处理技术领域。该方法包括：获取用于描述业务数据处理流程的配置文件，其中，配置文件可以包含与所述业务处理流程中各个数据处理节点分别对应的配置参数，可以通过预配置的拓扑图配置对象对配置文件进行解析，得到包含配置参数的配置数据对象，然后基于配置数据对象之间的层级关系，将配置参数按照与业务数据处理流程相对应的层级关系进行存储，得到目标拓扑图数据对象。通过预设格式的配置文件来对拓扑结构进行配置，灵活性高，并且，配置文件中可以清晰体现配置参数与实际业务数据处理流程的对应关系，利于查看和管理，提高了数据处理效率。

技术领域

本申请涉及数据处理技术领域，具体而言，本申请涉及一种获取拓扑图数据对象的方法、装置及电子设备。

背景技术

随着数据处理技术的发展，大数据的价值被越来越多人认可，如何对大数据进行处理，是数据处理领域的热门课题。目前，大数据的计算模式可以包括批量计算(batchcomputing)、流式计算(stream computing)、交互计算(interactive computing)、图计算(graph computing)等。

其中，流式计算和批量计算是两种主要的大数据计算模式。流式计算，是对数据流进行处理，即实时计算；而批量计算是统一收集数据，存储到数据库中，然后对数据进行批量处理的数据计算方式。相较于传统的批量计算方法，流式计算能做到数据随到随处理，有效降低了处理延时。

通常，在分布式实时计算系统中，需要先设计一个实时计算结构，该计算结构可以称之为拓扑(topology)，本质是一个与处理数据的执行流程对应的有向无环图(DirectedAcyclic Graph，DAG)。拓扑一般由程序编码实现，其代码较为抽象，每个节点之间的层级关系、以及与实际执行流程中步骤的对应关系不够清晰，不利于查看和管理，使数据处理效率难以提高。

发明内容

本申请实施例的目的旨在能解决现有技术中拓扑图结构与实际执行流程中步骤的对应关系不够清晰，不利于查看和管理的问题。

第一方面，提供了一种获取拓扑图数据对象的方法，该方法包括：

获取用于描述业务数据处理流程的配置文件；配置文件包含与业务处理流程中各个数据处理节点分别对应的配置参数；

通过预配置的拓扑图配置对象对配置文件进行解析，得到与每一数据处理节点分别对应的配置数据对象，配置数据对象包含对应数据处理节点对应的配置参数；

基于业务数据处理流程的数据处理顺序，确定各个数据处理节点之间的节点执行顺序；根据节点执行顺序确定各个配置数据对象之间的层级关系；基于各个配置数据对象所属的数据对象类型，确定与配置数据对象对应的数据集合；根据层级关系，将配置数据对象存储到数据集合中；基于数据集合，获取目标拓扑图数据对象。

在第一方面的可选实施例中，配置文件包括至少两个子标签，一个子标签对应于业务数据处理流程中的一个数据处理节点，配置文件包含的配置参数包括各子标签的标签属性和标签内容；

针对每一子标签，标签属性包括该子标签对应的数据处理节点的节点标识、以及该数据处理节点对应的下一数据处理节点的节点标识，标签内容用于确定与该数据处理节点对应的数据处理方式。

在第一方面的可选实施例中，至少两个子标签包括数据源子标签和至少一个处理步骤子标签，数据源子标签对应于数据处理流程中的起始数据处理节点，处理步骤子标签对应于数据处理流程中除了起始数据处理节点以外的其他数据处理节点；针对每一配置数据对象，配置数据对象包含对应数据处理节点对应的子标签的标签属性和标签内容；

数据集合包括数据源数据集合、处理步骤数据集合以及层级数据对象集合，基于各个配置数据对象所属的数据对象类型，确定与配置数据对象对应的数据集合，根据层级关系，将配置数据对象存储到数据集合中，基于数据集合，获取目标拓扑图数据对象，包括：