[发明专利]任务处理方法及装置

说明书

技术领域

本申请涉及网络技术领域，特别是涉及一种任务处理方法及装置。

背景技术

多道流水线处理技术，是一种基于网络消息通信的工作调度系统。在大规模分布式环境中，常使用多道流水线处理技术对数据处理任务进行高效地发布、分配和处理。

目前，多道流水线处理技术一般使用分布式消息队列实现。分布式消息队列中，通常包含三个基本组件，即，消息发布组件，消息中转组件和消息处理组件。其中，消息发布组件，为系统的使用者提供了固定的API(Application Programming Interface，应用程序接口)，方便使用者提交自己的任务消息，消息被提交后，消息发布组件，将通过TCP(Transmission Control Protocol，传输控制协议)协议或UDP(User Datagram Protocol，用户数据报协议)协议，将任务消息发送至消息中转组件；消息中转组件的作用是临时存储消息，并将任务消息的发布信息通信给消息处理组件；当消息处理组件接收到来自消息中转组件的通知，将通过TCP协议或UDP协议接收任务消息，之后将该任务消息提交给处理单元进行处理，此时，消息中转组件将负责将消息置为不可见状态，防止多个任务处理单元接收到同样的任务消息；处理单元完成处理后，将根据处理结果发布消息至消息中转组件，当处理成功时，消息处理组件将通知消息中转组件删除该消息；当处理失败时，消息处理组件将通知消息中转组件把该消息重新置为可见状态，这样可以使其他处理单元有机会再次处理该任务。

一种分布式消息队列系统是如图1所示的Gearman系统。Gearman是目前基于C/C++实现的一个分布式消息队列系统，主要包含三个组件：Gearman Client，Gearman Server与Gearman Worker，分别对应于上述的消息发布组件、消息中转组件和消息处理组件。Gearman系统对于消息处理的流程，如图1中所示，包括：Gearman Client向Gearman Server发布任务；GearmanServer接收任务后，通过任务调度，将任务交给Gearman Worker进行处理；Gearman Worker对任务进行处理，并将处理结果返回给Gearman Server；Gearman Server根据返回的处理结果对其保存的任务进行相应地处理，如删除或重置为可见状态等，至次，一次任务处理完成。

可见，使用分布式消息队列这一实现方式，使得任务发布组件无需关心任务处理单元的位置，只需发送任务消息至消息中转组件，实现了任务发布与任务处理的解耦合。另一方面，任务消息由中转组件进行统一管理，降低了任务处理失败后的重新调试难度。

然而，目前的各类分布式消息队列系统，都缺乏对于网络连接的有效管理，对于已经建立的网络连接，通常不对其连接状态进行监控与管理，而仅仅依赖于系统的网络功能进行控制。这样，虽然可以在理想的网络环境中取得比较好的性能测试结果，但在实际使用中，特别是大规模分布式集群中，常常因为单个节点的故障，而使得所有消息发送与接收环节都要多次尝试连接一个失败的节点，这样对于性能的影响非常巨大。

发明内容

本申请所要解决的技术问题是提供一种任务处理方法及装置，以解决目前的分布式消息队列系统中，因节点失效造成集群处理能力下降的问题。

为了解决上述问题，本申请公开了一种任务处理方法，包括：多道流水线处理系统的分布式消息队列中的至少一个组件接收到任务消息，其中，所述多道流水线处理系统中设置有连接池，所述连接池用于存储所述分布式消息队列中各个组件之间的网络连接的信息；根据所述网络连接的信息，从所述连接池中选择一个有效的网络连接；使用选择的所述有效的网络连接发送所述任务消息，进行所述任务消息所请求的任务处理。

优选地，所述分布式消息队列的每个组件中均设置有连接池，每个所述组件的连接池用于存储本组件与其它组件之间的网络连接的信息；所述根据所述网络连接的信息，从所述连接池中选择一个有效的网络连接的步骤包括：根据所述网络连接的信息，从接收到所述任务消息的组件的所述连接池中选择一个有效的网络连接。

优选地，任务处理方法还包括：若使用选择的所述有效的网络连接发送所述任务消息失败，则重新选择一个有效的网络连接发送所述任务消息，并中断失败的网络连接并释放其资源，将该网络连接设置为失效的网络连接；记录该网络连接中断的时间点，在设定的时间间隔内，不再使用该网络连接发送任何任务消息。