[发明专利]基于动态负载监测的流连接系统负载均衡方法及装置

说明书

本发明公开了一种基于动态负载监测的流连接系统负载均衡方法及装置，属于计算机实时大数据流式处理领域，包括：并行的数据分发步骤以及负载监测步骤；数据分发步骤包括：对于任意一个元组t，根据键值与处理节点的映射关系分别将其分发到两部分节点中，以分别对元组t进行存储和连接匹配；负载监测步骤包括：(S1)估计各处理节点的计算负载；(S2)基于计算负载分别计算两部分节点的负载不均程度；(S3)对于任意一部分节点的负载不均程度，若大于均衡阈值，则按照键值进行负载迁移，以减小该负载不均程度，然后转入步骤(S4)；否则，直接转入步骤(S4)；(S4)经过预设的时间间隔后，转入步骤(S1)。本发明能够满足高吞吐低延时的系统需求。

技术领域

本发明属于计算机实时大数据流式处理领域，更具体地，涉及一种基于动态负载监测的流连接系统负载均衡方法及装置。

背景技术

现在，越来越多的应用，如广告推荐，实时订单匹配，电信欺诈检测等，需要高时效地处理大规模高速产生的实时流数据，其中，每条数据流由随时序实时到来的无限数据项(即元组)组成，每个元组包含可与其他数据流中元组产生关联的属性(即键值)。在这些应用中，对不同数据流进行流连接是最基础以及最重要的操作之一，特别是等值连接。流连接即对两条不同的数据流根据一定条件将其进行关联，连接成一条新的数据流的操作；等值连接则是对两条不同的数据流根据两个元组的键值是否相同而进行匹配，将匹配成功的元组进行关联并作为新的数据流的元组进行输出。例如，网约车软件做“网约车智能派单”应用时，可将实时产生的乘客的请求流与专车的位置流进行快速的连接匹配，将两条流中相同区域内的乘客和网约车匹配在一起，以将乘客的约车请求推送给最近的专车，这一过程就是一个等值连接的过程。

流连接既要面对源源不断的无限数据项的同时，还要实时响应请求，因此，流连接处理比传统的连接处理面临更多的挑战。为实现高效的流连接处理，需要满足以下几个基本要求：1)低延时、高吞吐；2)内存占用低，易于系统扩展；3)连接结果完整，即来自两条流相同键值的两个元组需尽量保证能够进行一次匹配连接。为了满足以上需求，现有的流连接系统通常基于分布式架构，将流连接计算任务均分给多个流连接处理节点，以高并行地进行流连接，提高流连接系统的吞吐能力，降低处理延时，保证系统的可扩展性。高效地完成数据分发，并保证连接结果的完整性，是满足上述基本要求的关键。

现有的基于二部图模型的分布式流连接系统将所有流连接处理单元分为两个对称的部分，分别用于处理两个数据流。这些流连接系统对两条流进行连接计算时，所采用的数据分发方式主要包括：(1)基于随机的数据分发方式，该数据分发方式使得每个处理节点接收到的元组数量相近，处理节点间的工作负载比较均衡，但对于等值连接来说，这种数据分发方式会使得整个流连接系统进行大量无法产生结果的连接匹配，增加了匹配次数，从而增加了系统延时而且降低了系统的吞吐量；(2)基于哈希的数据分发方式，该数据分发方式中，同一个键值的元组只会被分发到相同的处理节点中，避免大量的广播操作，可以减少整个流连接系统的连接匹配的计算量，但是，对具有倾斜分布的流数据容易使得流连接处理节点间出现负载不均的现象，大大增加了系统平均延时，降低了系统吞吐率；(3)随机与哈希相结合的数据分发方式，该数据分发方式将流连接处理节点平均分为若干个组，将元组根据键值映射到相关的处理节点组中，然后将该元组随机分发到该处理节点组中的处理节点，当流数据键值分布严重倾斜时，这种数据分发方式仅能保证同组内的处理节点间计算负载均衡，但不同组间依然存在负载不均现象。总体而言，现有的等值连接方法无法同时兼顾负载均衡与减少系统所有处理节点总的连接匹配次数(即总的工作负载)，以至于无法满足高吞吐低延时的系统需求。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于动态负载监测的流连接系统负载均衡方法及装置，其目的在于，在等值连接的过程中实现流连接系统的负载均衡，同时减少总的匹配次数，以满足高吞吐低延时的系统需求。