[发明专利]一种基于异步应答的传输数据的方法及系统

说明书

本发明提供了一种基于异步应答的传输数据的方法，包括：抽取步骤：在一周期中从第一数据端抽取并存储所述数据；流速调节步骤：基于在所述周期的上一周期中由第二数据端反馈的装载结果和在所述上一周期中传输所述数据的第一流速确定在所述周期中传输所述数据的第二流速；以及装载步骤：在所述周期中根据所述第二流速将所述数据装载到所述第二数据端。

技术领域

本发明涉及数据传输领域，尤其涉及一种基于异步应答的传输数据的方法及系统。

背景技术

在将数据从数据源传输至的数据目的端的过程中，通常使用能够抽取数据、转换数据的格式并将数据装载到数据目的端的ETL(Extract-Transform-Load)系统。由于ETL系统需要按照固定周期运行的经常发生的任务(例如，处理批量数据)并且ETL系统对数据实时性要求不高，因此在对数据实时性要求很高的场景下难以使用传统的ETL系统。

在传输数据的过程中，存在调节数据传输的流速的需求。一种常用的调节流速的方法是使用数据传输系统的系统负载作为硬指标进行调节，例如当系统负载高于某个阈值时，即禁止或降低流速，当系统负载开始降低时，则恢复流速。另一种常用的调节流速的方法是自适应限流保护方法，该方法使用数据传输系统的系统负载作为所控制的流速的启动值，通过数据传输系统的当前请求响应时间以及处理的请求速率来决定当前允许的流速，从而在数据传输系统不被拖垮的情况下提高流速，而不是一定要低于某个阈值。

为了尽可能地提高流速，还可以使用异步应答的模式，即数据传输系统中的负责数据装载的模块仅将数据发送至下游的数据目的端，无需等待具体的装载结果，数据传输系统可以通过另外的模块对数据装载的执行结果进行处理。换言之，在一个周期内装载的数据不一定在当前周期内就能获知该数据是否装载成功。

然而，在使用异步应答的模式的情况下，上述第一种方法由于将数据传输系统的系统负载作为硬指标，超过系统负载则不允许传输数据，因此限制了数据传输系统和数据目的端的处理能力，降低了数据传输系统的的数据传输量；此外，当下游的数据目的端发生故障或扩容等影响处理能力的事件时，该方法无法及时地感知并调整流速，可能导致数据传输系统的空闲或大批量数据丢失等异常情况。另外，对于上述第二种方法，该方法根据数据传输系统的处理能力来调节流速，无法根据下游的数据目的端的处理能力来动态地控制流速，不适用数据目的端处理能力弱于数据传输系统处理能力的情况。

发明内容

本发明的一方面提供一种基于异步应答的传输数据的方法，包括：抽取步骤：在一周期中从第一数据端抽取并存储所述数据；流速调节步骤：基于在所述周期的上一周期中由第二数据端反馈的装载结果和在所述上一周期中传输所述数据的第一流速确定在所述周期中传输所述数据的第二流速；以及装载步骤：在所述周期中根据所述第二流速将所述数据装载到所述第二数据端。

本发明的另一方面提供一种基于异步应答的传输数据的方法，包括：抽取步骤：在一周期中从第一数据端抽取第一数据，将所述第一数据存储在第一队列中；流速调节步骤：基于在所述周期的上一周期中由第二数据端反馈的第一装载结果和在所述上一周期传输所述数据的第一流速确定在所述周期中传输所述数据的第二流速；以及装载步骤：在所述周期中根据所述第二流速将所述第一队列内的所述第一数据和第二队列内的第二数据装载到所述第二数据端。

本发明的又一方面提供一种基于异步应答的传输数据的系统，包括：数据抽取模块，其用于在一周期中从第一数据端抽取并存储所述数据；流速调节模块，其用于基于在所述周期的上一周期中由第二数据端反馈的装载结果和在所述上一周期中传输所述数据的第一流速确定在所述周期中传输所述数据的第二流速；和数据装载模块，其用于在所述周期中根据所述第二流速将所述数据装载到所述第二数据端。