[发明专利]一种用于流式数据并行处理的负载均衡方法

权利要求书

1.一种用于流式数据并行处理的负载均衡方法，所述流式数据并行处理基于并行流水线实现，所述并行流水线包括N级处理线程，每个处理线程与一个处理器核绑定，其中N为所述并行流水线的级别数目，所述用于流式数据并行处理的负载均衡方法包括下列步骤：

1)对于任意一个第i级处理线程，该第i级处理线程首先完成本级的数据处理，得到第i级中间数据包；

2)根据各个第i+1级处理线程的负载状态，基于负载均衡算法将所述的第i级中间数据包发送到一个第i+1级处理线程的缓冲队列；

所述i为1至N-1中的任意一个整数。

2.根据权利要求1所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述步骤2)中，所述第i+1级处理线程的负载状态根据该第i+1级处理线程的缓冲队列长度得出。

3.根据权利要求2所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述步骤2)中，所述第i+1级处理线程的负载状态根据该第i+1级处理线程的缓冲队列长度的EWMA值得出。

4.根据权利要求3所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述步骤2)中，t时刻的所述EWMA值E_t＝w·L_t+(1–w)·E_t-1，其中L_t表示t时刻的缓冲队列长度，E_t-1表示t-1时刻的EWMA值，w表示平稳因子。

5.根据权利要求3所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述步骤2)中，t时刻的所述EWMA值E_t＝L_t>>1+E_t-1>>1；其中“>>”表示右移运算。

6.根据权利要求4或5所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述步骤2)还包括：将所述的第i级中间数据包发送到具有最小EWMA值的第i+1级处理线程的缓冲队列。

7.根据权利要求4或5所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述步骤2)包括下列子步骤：

21)接收一个第i级中间数据包；其中，i＝1,2…，N-1；

22)在全局流表中查找该第i级中间数据包所属的数据流，如果未找到，则执行步骤23)，如果找到，则直接根据所述全局流表的记录将所述的第i级中间数据包发送到相应的第i+1级处理线程的缓冲队列；所述全局流表记录已处理过的所有数据流及其所对应的在流水线中的处理路径；

23)更新所有第i+1级处理线程的缓冲队列在当前时刻下的EWMA值，选出EWMA值最小的第i+1级处理线程；

24)将所述第i级中间数据包发往步骤23)所选出的第i+1级处理线程的缓冲队列。

8.根据权利要求7所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述步骤24)还包括：根据步骤23)的选择更新所述全局流表中所述第i级中间数据包所对应数据流的表项。

9.根据权利要求7所述的用于流式数据并行处理的负载均衡方法，其特征在于，所述全局流表的每条表项记录数据流标识和该数据流在流水线中的处理路径，其中采用五元组作为数据流标识，五元组由源IP地址、目的IP地址、源端口、目的端口、传输层的协议类型构成。

10.根据权利要求1所述的用于流式数据并行处理的负载均衡方法，其特征在于，还包括步骤：

3)将所述第i+1级处理线程视为第i级处理线程重新执行步骤1)，直至第N级处理线程完成本级的数据处理得到最终数据。