[发明专利]在基于图的程序中指定组件

说明书

接收指定基于图的程序规范(628)的组件的用户输入。接收指定链路的用户输入，至少一些链路将上游组件的输出端口连接到下游组件的输入端口。处理基于图的程序规范以识别组件的一个或多个子集(630,631)，包括：至少部分基于链接的组件的数据处理特性识别在不同子集中的组件之间发生的一个或多个子集入口点和一个或多个子集出口点，以及基于所识别的子集入口点和出口点形成子集。在用户界面内呈现所形成的子集的视觉表示。为每个所形成的子集生成准备好的代码，当用于由运行时系统执行时，使得执行与每个所形成的子集中的组件相对应的处理任务。

本申请是申请号为201580047149.8、发明名称为“在基于图的程序中指定组件”、申请日为2015年09月02日的发明专利申请的分案申请。

相关申请的交叉引用

本申请要求于2014年9月2日提交的序列号为62/044,708的美国申请和2015年5月20日提交的序列号为62/164,175的美国申请的优先权。

技术领域

本说明书涉及在基于图的程序中指定组件的方法。

背景技术

一种用于数据流计算的方法利用基于图的表示，其中对应于图的节点(顶点)的计算组件通过与图的链路(有向边)对应的数据流(称为“数据流图”)耦合。通过数据流链路连接到上游组件的下游组件接收输入数据元素的有序流，并且以所接收的顺序处理输入数据元素，可选地生成一个或多个对应的输出数据元素流。用于执行这种基于图的计算的系统描述于发明名称为“EXECUTING COMPUTATIONS EXPRESSED AS GRAPHS(执行表达为图的计算)”的在先美国专利5,966,072中，其通过引用并入本文。在与该在先专利中描述的方法相关的实现方式中，每个组件被实现为驻留在通常多个计算机服务器之一上的进程。每个计算机服务器可以具有在任何一个时间活动的多个这样的组件进程，并且操作系统(例如，Unix)调度器在该服务器上托管的组件之间共享资源(例如，处理器时间和/或处理器内核)。在这种实现方式中，组件之间的数据流可以使用操作系统的数据通信服务和连接服务器的数据网络(例如，命名管道，TCP/IP会话等)来实现。组件的子集通常用作来自整体计算的数据的源和/或数据宿(或数据接收器，sink)，例如，去往和/或来自数据文件、数据库表和外部数据流。然后，在例如通过协调进程建立组件进程和数据流之后，数据流过整个计算系统，该计算系统实现表达为通常由每个组件处的输入数据的可用性控制的图的计算并且为每个组件调度计算资源。因此，至少通过使不同的组件能够由不同的进程(托管在相同或不同的服务器计算机或处理器内核上)并行地执行，可以实现并行性，其中不同组件在通过数据流图的不同路径上并行地执行在本文中被称为组件并行性，并且不同组件通过数据流图在相同路径的不同部分上并行执行在本文中被称为流水线并行性。

其他形式的并行性也得到这种方法的支持。例如，输入数据集可以例如根据数据集的记录中字段的值的分区来分割，其中每个部分被发送到处理数据集的记录的组件的单独副本。组件的这种单独的副本(或“实例”)可以在单独的服务器计算机或服务器计算机的单独的处理器内核上执行，从而实现本文所称的数据并行性。可以合并单独组件的结果以再次形成单个数据流或数据集。用于执行组件实例的计算机或处理器内核的数量将由开发人员在开发数据流图时指定。

可以使用各种方法来提高这种方法的效率。例如，组件的每个实例不一定必须在其自己的操作系统进程中托管，例如使用一个操作系统进程来实现多个组件(例如，形成更大图的连接子图的组件)。

上述方法的至少一些实现方式受到与在底层计算机服务器上所得到的进程的执行效率有关的限制。例如，这些限制可能涉及重新配置图的运行实例以改变数据并行度、改变到托管各种组件的服务器和/或平衡不同计算资源上的负载的困难。现有的基于图的计算系统也具有的缺陷是启动时间慢，这通常是因为太多的进程被不必要地启动，浪费了大的存储量。通常，进程在启动图的执行时开始，并在图的执行完成时结束。