[发明专利]基于动态负载监测的流连接系统负载均衡方法及装置

摘要

本发明公开了一种基于动态负载监测的流连接系统负载均衡方法及装置，属于计算机实时大数据流式处理领域，包括：并行的数据分发步骤以及负载监测步骤；数据分发步骤包括：对于任意一个元组t，根据键值与处理节点的映射关系分别将其分发到两部分节点中，以分别对元组t进行存储和连接匹配；负载监测步骤包括：(S1)估计各处理节点的计算负载；(S2)基于计算负载分别计算两部分节点的负载不均程度；(S3)对于任意一部分节点的负载不均程度，若大于均衡阈值，则按照键值进行负载迁移，以减小该负载不均程度，然后转入步骤(S4)；否则，直接转入步骤(S4)；(S4)经过预设的时间间隔后，转入步骤(S1)。本发明能够满足高吞吐低延时的系统需求。

主权项

1.一种基于动态负载监测的流连接系统负载均衡方法，所述流连接系统为基于二部图模型的分布式流连接系统，其特征在于，包括：并行的数据分发步骤以及负载监测步骤；所述数据分发步骤包括：对于随时序到达的任意一个元组t，根据键值与处理节点的映射关系分别将其分发给第一处理节点和第二处理节点，以使得所述第一节点对所述元组t进行存储，且所述第二节点对所述元组t进行连接匹配；所述负载监测步骤包括：(S1)估计各处理节点进行连接匹配的计算负载；(S2)根据所估计的计算负载，分别计算所述流连接系统的两部分节点的负载不均程度；(S3)对于任意一部分节点的负载不均程度，若大于预设的均衡阈值，则使该部分节点按照键值进行负载迁移，以减小该负载不均程度，负载迁移均结束后，转入步骤(S4)；否则，直接转入步骤(S4)；(S4)经过预设的时间间隔后，转入步骤(S1)，以实现对所述流连接系统的动态负载监测和负载均衡；其中，所述流连接系统的两部分节点分别用于存储待连接的两个数据流，所述第一处理节点为用于存储所述元组t所属数据流的其中一个处理节点，所述第二处理节点为用于存储另一条数据流的其中一个处理节点；在两部分节点中，根据所述映射关系，键值相同的元组被映射到相同的处理节点。