[发明专利]流处理方法及装置

说明书

本发明实施例公开了一种流处理方法及装置，该方法包括：流处理管理单元接收客户端发送的流处理任务；流处理管理单元从元数据管理节点获取待处理文件的路径对应的各个块的块号，以及各个块所在的数据存储节点的网络地址；流处理管理单元分别将流处理逻辑和各个块的块号发送至各个块所在的数据存储节点的流处理单元；流处理计算单元从所在的数据存储节点获取接收到的块号对应的块数据，针对接收到的块号对应的块数据执行流处理逻辑。通过以上方式，可克服因流处理系统与数据存储节点之间的网络传输速度较低而影响流处理的速度的技术问题。

技术领域

本发明涉及信息技术领域，特别涉及一种流处理方法及装置。

背景技术

工作流(Work flow)是对工作流程及工作流程中各业务之间如何前后组织在一起的逻辑规则的抽象、概括、描述。工作流概念起源于生产组织和办公自动化领域，是针对日常工作中具有固定程序活动而提出的一个概念，目的是通过将工作分解成定义良好的流程或角色，按照一定的规则和过程来执行这些流程并对其进行监控，达到提高工作效率、更好的控制过程、增强对客户的服务、有效管理业务流程等目的。工作流建模，即将工作流在计算机中以恰当的模型进行表示并对其实施计算。通过工作流建模，工作流可以通过工作流系统来管理。

流处理系统的主要功能是通过计算机技术的支持去定义、执行和管理工作流，协调工作流执行过程中流程之间以及群体成员之间的信息交互。流处理系统通常由工作流程设计工具、工作流程管理工具组成，工作流程设计工具供用户设计自己的工作流程定义，工作流程管理工具负责管理工作流程的执行。在工作流系统工作过程中，工作流程实例包括一个或多个业务(Task),每个业务代表需要进行的某项工作。

Apache Storm是现有技术中典型的流处理系统，由Master-Slave(主-从)架构组成，Nimbus是主进程，Supervisor是运行业务的从进程。流处理系统Storm与分布式文件系统建立网络连接，分布式文件系统存放需要流处理系统Storm进行处理的数据，分布式文件系统包括Master Server(主服务器)和Data Server(数据服务器)，Master Server是元数据管理节点，管理数据块的分布情况，Data Server是数据存储节点点，存储数据块数据，Storm与数据存储节点点设置在不同服务器上。

在Storm的流处理作业中，Storm首先需要从数据服务器获取需要进行流处理的数据。具体地，数据服务器提供数据查询接口，Storm通过网络输入参数至数据查询接口，通过网络从数据服务器获取数据，然后将获取到的数据加载到Supervisor中。

由于在现有技术中，流处理系统需要通过网络从数据存储节点获取数据，因此获取数据的速度受网络性能限制，会导致整个流处理的性能受限于网络，在流处理系统与数据存储节点之间的网络传输速度较低时，会极大地影响流处理的速度。

发明内容

为解决现有技术的问题，本发明实施例提供一种流处理方法及装置，可克服因流处理系统与数据存储节点之间的网络传输速度较低而影响流处理的速度的技术问题。

第一方面，本发明实施例提供一种流处理方法，该方法应用于流处理系统，流处理系统包括流处理管理单元以及流处理计算单元，该方法包括：

流处理管理单元接收客户端发送的流处理任务，其中流处理任务包括流处理逻辑和待处理文件在分布式文件系统的路径，分布式文件系统包括元数据管理节点和多个数据存储节点，每一数据存储节点设置有流处理计算单元；

流处理管理单元从元数据管理节点获取待处理文件的路径对应的各个块的块号，以及各个块所在的数据存储节点的网络地址；

流处理管理单元分别将流处理逻辑和各个块的块号发送至各个块所在的数据存储节点的流处理单元；

流处理计算单元从所在的数据存储节点获取接收到的块号对应的块数据，针对接收到的块号对应的块数据执行流处理逻辑。