[发明专利]一种分级控制数据交换速率的方法及装置

说明书

本发明实施例公开了一种分级控制数据交换速率的方法及装置，方法包括：实时监控数据交换通道的并发数目，并根据底层物理网络的负载情况调整数据交换通道的并发数目；实时监控数据记录流的流速，并根据数据记录流的流速与第一预设流速之间的关系，进行数据记录流限流控制；实时监控数据字节流的流速，并根据数据字节流的流速与第二预设流速之间的关系，进行数据字节流限流控制。本发明实施例在传统的限制数据交换底层物理网络的网络速率的基础上，分别从数据交换通道的并发数目、数据字节流的流速以及数据记录流的流速三个层面来控制数据交换速率，从而可以精确地控制数据交换通道上的数据交换速率，提高数据交换系统的吞吐量和稳定性。

技术领域

本发明涉及计算机技术领域，具体涉及一种分级控制数据交换速率的方法及装置。

背景技术

目前，典型的数据交换系统由数据抽取端、数据交换通道以及数据录入端三部分组成。数据抽取端负责从不同的数据源进行数据的采集，数据交换通道负责在网络中进行数据的传输和交换，数据录入端负责把数据写入目标数据源。其中，数据交换通道上的数据交换速率是影响整个数据交换系统吞吐量和稳定性的核心因素。

在目前的数据交换系统中，主要通过限制数据交换通道底层物理网络的网络速率来控制数据交换速率。数据交换速率过低会导致数据交换系统吞吐量降低，影响数据交换的实时性；数据交换速率过高，会增大数据录入端的压力，情况严重时会引起数据录入端过载问题，进而影响数据录入端的稳定性。这种控制方式单一、并且粒度不够精细，且没有考虑到数据交换通道上交换的数据记录的大小。同等网络速率情况下，较小的数据记录意味着经过数据交换通道上的数据记录数增加，较大的数据记录数会增大数据录入端的压力，引起过载问题进而影响数据录入端的稳定性。

因此，如何有效控制数据交换通道上的数据交换速率成为亟待解决的问题。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种分级控制数据交换速率的方法及装置。

第一方面，本发明实施例提出一种分级控制数据交换速率的方法，包括：

实时监控数据交换通道的并发数目，并根据底层物理网络的负载情况调整所述数据交换通道的并发数目，以控制数据交换速率；

实时监控数据记录流的流速，并根据所述数据记录流的流速与第一预设流速之间的关系，进行数据记录流限流控制，以控制所述数据交换速率；

实时监控数据字节流的流速，并根据所述数据字节流的流速与第二预设流速之间的关系，进行数据字节流限流控制，以控制所述数据交换速率。

可选地，所述根据底层物理网络的负载情况调整所述数据交换通道的数目，包括：

在所述底层物理网络的负载小于第一负载阈值的情况下，增加预设个数所述数据交换通道；

在所述底层物理网络的负载大于第二负载阈值的情况下，减少预设个数所述数据交换通道。

可选地，所述根据所述数据记录流的流速与第一预设流速之间的关系，进行数据记录流限流控制，包括：

在所述数据记录流的流速大于所述第一预设流速的情况下，对应线程暂停向所述数据交换通道写入所述数据记录流。

可选地，所述根据所述数据字节流的流速与第二预设流速之间的关系，进行数据字节流限流控制，包括：

在所述数据字节流的流速大于所述第二预设流速的情况下，对应线程暂停向所述底层物理网络写入所述数据字节流。

第二方面，本发明实施例还提出一种分级控制数据交换速率的装置，包括：监控和调整模块、第一监控和控制模块和第二监控和控制模块；

所述监控和调整模块，用于实时监控数据交换通道的并发数目，并根据底层物理网络的负载情况调整所述数据交换通道的并发数目，以控制数据交换速率；