[发明专利]一种面向全流量采集的存储负载均衡方法及系统

说明书

本发明涉及一种面向全流量采集的存储负载均衡方法及系统，其方法包括：S1：存储负载监控器周期性地获取各个存储节点中存储设备的存储负载状态信息，将其发往负载均衡控制器；S2：负载均衡控制器根据存储负载信息，生成负载均衡策略及其相应的日志；S3：流量分发器执行负载均衡策略，将数据包分发至中间队列；S4：数据包合并器从中间队列获取多个数据包，并按预设阈值将其封装为封装数据包加入待存储缓存队列，发送到对应的存储节点；S5：流量重组器根据下游任务的请求，从存储节点获取封装数据包，对其中的数据包进行重组，将重组后的数据包返回给下游任务。本发明提供的方法解决分布式存储负载不均衡，数据进入待存储缓存队列开销大的问题。

技术领域

本发明涉及网络流量存储领域，具体涉及一种面向全流量采集的存储负载均衡方法及系统。

背景技术

全流量采集和存储，能够实现将链路上所有流量持久化到硬盘，是网络流量的离线处理和分析的基础。但随着网络通信量的迅速增长，网络主干的链路速率普遍超过了10Gbps，某些核心链路甚至能够达到100Gbps，全流量的采集和存储变得非常困难，其主要的瓶颈在于存储压力较大，硬盘难以完成存储任务，从而导致出现丢包，影响到离线分析和处理的准确性。

当前的流量存储方法主要分为充分发挥硬盘的读写性能、通过使用多块硬盘提升性能两种。充分发挥硬盘性能的方法利用了硬盘读写的原理，通过顺序读写减少寻道和旋转延迟的开销，提升读写速度；在使用多块硬盘的方法中又分为使用RAID技术和并行使用多块硬盘两类。RAID技术配置复杂，成本高昂，往往需要额外的硬件支持，在实际生产中不被使用；并行使用多块硬盘配置简单，但存在存储负载的均衡分配问题。

现阶段的主流存储框架大多使用分布式架构，使用多块硬盘进行并行存储，同时在将数据写入硬盘前，会将数据放入一个待存储缓存队列中，等待其数据量达到一定数值或者超过一定时间后才进行硬盘写入。以Apache Kakfa为例，Kafka可以使用多块硬盘进行数据存储，但数据具体写入哪块磁盘是由数据的特征决定的，通常使用流量的五元组计算的哈希值。但由于哈希冲突和网络流量的不均匀分布等问题，这种方法在实际的使用中会出现不同硬盘的存储负载不均衡的问题。另一方面，Kafka为待存储数据建立了待存储缓存队列，避免了对于每一个数据都进行一次硬盘读写、建立网络传输连接，从而减少了开销，但是将数据入队到缓存队列也有一定的开销，特别在进行大量网络数据包存储时，这个开销是非常巨大的。Kafka官方文档显示数据大小在10KB左右时，两种开销达到一个比较平衡的值，系统的存储能力最佳。但是单个网络数据包的大小往往远小于10KB，大量的入队操作会导致系统的存储能力大幅下降。因此，分布式存储负载不均衡，数据进入待存储缓存队列开销过大成为一个亟待解决的问题。

发明内容

为了解决上述技术问题，本发明提供一种面向全流量采集的存储负载均衡方法及系统。

本发明技术解决方案为：一种面向全流量采集的存储负载均衡方法，包括：

步骤S1：存储负载监控器周期性地获取各个存储节点中存储设备的存储负载状态信息，更新存储节点的存储负载状态信息，将其发往负载均衡控制器；

步骤S2：所述负载均衡控制器根据所述存储负载状态信息，维护负载均衡控制器的控制表，生成负载均衡策略及其相应的日志；

步骤S3：流量分发器根据所述负载均衡控制器的控制表，执行所述负载均衡策略，将数据包分发至中间队列；

步骤S4：数据包合并器从所述中间队列上获取多个数据包，并按预设阈值将其封装为封装数据包，将所述封装数据包加入待存储缓存队列，发送到对应的所述存储节点；

步骤S5：流量重组器根据下游任务的请求，从所述存储节点获取所述封装数据包，通过时间戳和数据包中的标记，对所述封装数据包中的数据包进行重组，将重组后的数据包返回给所述下游任务。

本发明与现有技术相比，具有以下优点：