[发明专利]用于实时数据处理的方法和设备

说明书

技术领域

本发明的各实施方式涉及数据处理，更具体地，涉及针对数据进行实时处理的方法、设备和相关计算机程序产品。

背景技术

随着计算机硬件和软件技术的发展，现有应用能够提供越来越强的数据处理能力。例如，可以将众多的计算设备以集群方式部署，并且集群中的多个计算设备可以并行地进行数据处理。对于向该集群提交数据处理请求的用户而言，他们/她们并不关心是哪个计算设备正在处理自己的请求，而是通常更关心数据处理需要占用多长时间。对于海量数据处理(尤其是对于实时性要求较高的数据处理)，如何提高数据处理效率并尽快向用户返回处理结果成为评价数据处理平台性能的一项关键因素。

目前已经开发出可以由集群中的多个计算设备对数据进行并行处理的技术方案，这在一定程度上提高了数据处理效率。然而，当面临需要实时处理的海量数据时(例如，对于股票市场中实时交易数据进行分析)，现有的并行处理方案不能满足需求。由于数据处理能力的限制而不能实时地分析和处理各种数据，进而导致无法进行其他后续的处理操作。

发明内容

因此，面对现有的并行处理方案无法实时有效地处理数据的缺陷，如何在尽量不增加现有硬件投入的前提下实现实时并高效的数据处理成为一项亟待解决的问题。为此，本发明的各实施方式提供了用于实时数据处理的方法、装置和相关计算机程序产品。

根据本发明的一个实施方式，提供了一种用于实时数据处理的方法。该方法包括：响应于接收到多个作业(job)，分析多个作业之间的约束关系以获取流水线(pipeline)信息；读取至少一部分待处理数据；以及基于流水线信息并针对待处理数据执行多个作业以生成至少一部分处理结果。

根据本发明的一个实施方式，其中流水线信息包括以下至少一个：多个作业中的各任务的依赖序列、所需的计算资源、估计执行时间。

根据本发明的一个实施方式，其中多个作业中的每个作业包括多个任务，以及基于流水线信息、针对待处理数据执行多个作业以生成至少一部分处理结果包括：基于流水线信息，将多个作业中的各任务划分为多个有序分组，其中在前后相继的两个分组中，后一分组的执行依赖于前一分组的输出。

根据本发明的一个实施方式，提供了一种用于实时数据处理的装置。该装置包括：用于响应于接收到多个作业、分析多个作业之间的约束关系以获取流水线信息的装置；用于读取至少一部分待处理数据的装置；以及用于基于流水线信息并针对待处理数据执行多个作业以生成至少一部分处理结果的装置。

根据本发明的一个实施方式，其中流水线信息包括以下至少一个：多个作业中的各任务的依赖序列、所需的计算资源、估计执行时间。

根据本发明的一个实施方式，其中多个作业中的每个作业包括多个任务，以及用于基于流水线信息、针对待处理数据执行多个作业以生成至少一部分处理结果的装置包括：用于基于流水线信息、将多个作业中的各任务划分为多个有序分组的装置，其中在前后相继的两个分组中，后一分组的执行依赖于前一分组的输出。

采用根据本发明的各实施方式，可以在不增加硬件投入的前提下优化现有计算设备的配置，在充分利用现有计算设备处理能力的基础上实现实时数据处理。

附图说明

结合附图并参考以下详细说明，本发明各实施方式的特征、优点及其他方面将变得更加明显，在此以示例性而非限制性的方式示出了本发明的若干实施方式。在附图中：

图1示意性示出了包括多个计算设备的集群的图示；

图2A和图2B分别示意性示出了针对不同作业分配计算资源的图示；

图3示意性示出了根据本发明一个实施方式的用于实时数据处理的方法的流程图；

图4示意性示出了作业中各任务的图示；

图5示意性示出了根据本发明一个实施方式的方法而分配计算资源的图示；以及

图6示意性示出了根据本发明一个实施方式的用于实时数据处理的设备的框图。

具体实施方式