[发明专利]控制任务集中的任务并行的系统及其方法

说明书

本发明公开了一种控制任务集中的任务并行的系统，包括：临界区分析组件，用于分析一个任务集中的任意两个任务之间临界区，并为分析获得的所述临界区赋予预定临界区标记，形成所述任务集中的临界区标记关系图表，所述临界区是所述任意两个任务之间的内存共享部分，所述临界区标记关系图表记载任意两个临界区的互斥关系；以及临界区监控组件，其位于每个任务实例数据处理路径中，用于对于多个被执行的任务实例，基于临界区标记关系图表，允许执行存在互斥关系中一对临界区中的先到达的一个临界区而使得另一个临界区处于等待执行状态。

技术领域

本公开涉及一种数据处理技术，更具体地说，本公开涉及一种用于控制任务集中的任务并行的系统及其方法。

背景技术

大数据的处理意向复杂的数据处理技术。为了提高数据处理的效率，通常将一个数据处理工作分成多项任务，并在集成计算架构中分别由CPU、与CPU相连的GPU来承担计算任务，这些计算任务会根据彼此之间的时序关系被进行并行计算。但是有时候，很多任务之间存在彼此的依赖关系，例如第一任务的计算所需的某些数据也会被第二任务的计算所使用；或者第一任务的计算所产生的某些数据会被第二任务的计算所使用。因此，在两者之间存在数据使用冲突过程中，必然导致第一任务执行时，第二任务不能执行，导致一种停机现象。反之亦然。因此，任务并行只能在不相关的任务执行，这将导致的不能并行的任务之间的切换以任务整体为单位进行，这在大数据处理或深度学习这种数据处理过程中，以任务整体为单位的这种切换，这种任务切换的成本就是所有计算设备的同步开销。当计算设备的数目达到1024甚至更高的时候，任务切换点会成为整个计算系统的巨大瓶颈，因为所有数据同步的时候，几乎所有的计算操作将无法进行，这个过程需要花费巨大的时间。因此，以任务为单位的这种同步以及任务的切换会不可避免的带来开销，而且这个开销随着集成的计算设备(例如CPU和GPU)的增多而开销会是指数级增长的,这将导致计算资源得不到充分地利用，也降低了数据处理的效率。

因此，人们期望获得一种控制任务集中的任务并行的系统，其能够消除上述现有技术中的一种或多种技术问题，提高任务并行程度。

发明内容

本发明的目的在于解决至少上述问题之一，具体而言，本公开提供一种控制任务集中的任务并行的系统，包括：临界区分析组件，用于分析一个任务集中的任意两个任务之间临界区，并为分析获得的所述临界区赋予预定临界区标记，形成所述任务集中的临界区标记关系图表，所述临界区是所述任意两个任务之间的内存共享部分，所述临界区标记关系图表记载任意两个临界区的互斥关系；以及临界区监控组件，其位于每个任务实例数据处理路径中，用于对于多个被执行的任务实例，基于临界区标记关系图表，允许执行存在互斥关系中一对临界区中的先到达的一个临界区而使得另一个临界区处于等待执行状态。

根据本公开的控制任务集中的任务并行的系统，其中所述临界区监控组件将第一任务实例中的可立即或正在执行的第一临界区的临界区标记排列第一临界区监控队列中以及将第二任务实例的不能与第一临界区同时执行的第二临界区的临界区标记排列在第二临界区监控队列中，以及监控第一临界区的执行操作是否完成，以便在第一临界区的执行操作完成后，将第一临界区的临界区标记移出第一临界区监控队列，并将第二临界区的临界区标记从第二临界区监控队列移动到第一临界区监控队列中。

根据本公开的控制任务集中的任务并行的系统，其中所述临界区标记包括临界区ID及源节点和汇节点。

根据本公开的控制任务集中的任务并行的系统，其中所述临界区监控组件通过从第一临界区的所述汇节点接收到消息来监控第一临界区被执行操作完成状态，并在从所述汇节点接收到消息后向第二任务实例的临界区的源节点发出消息。

根据本公开的控制任务集中的任务并行的系统，其中所述临界区为输入临界区、输出临界区或主体临界区。