[发明专利]数据传输方法和流式数据传输系统

说明书

本申请实施例提供了一种数据传输方法，所述方法包括：所述数据采集插件从数据源中采集数据流，并采用数据上报请求将采集到的数据上报至所述网关；所述网关在接收到所述数据上报请求后，将所述数据上报请求中的数据存储至目标请求队列中；所述网关通过轮询方式从生产者池中确定每一个请求队列对应的目标生产者，并通过所述目标生产者在预设的时间段内将所述目标生产者对应的请求队列中的存储的数据缓存至所述Kafka集群的目标主题中；所述Flink集群通过多个Flink SQL作业消费Kafka集群的各个主题中缓存的数据，并将消费到的数据分发至目标终端中。本申请可以避免不同数据流的传输之间会相互影响。

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种数据传输方法、流式数据传输系统、计算机设备及计算机可读存储介质。

背景技术

现有的流式数据传输系统从架构上可以划分为数据源层、数据网关层、数据缓存层、数据分发层及数据存储层，其中，数据源层采用数据采集插件从数据源中采集数据流并上报至数据网关层；数据网关层基于多个数据管道将数据缓存至数据缓存层；数据缓冲层使用kafka集群实现数据缓冲；数据分发层基于Flink集群实现将数据从数据缓存层同步至数据存储层。然而，发明人发现，现有的流式数据传输系统在进行数据流的传输时，数据流之间的隔离性差，当数据管道内部某个数据流的流量陡增时，会造成整个数据管道内的所有数据流分发出现延迟。

发明内容

本申请实施例的目的是提供一种数据传输方法、流式数据传输系统、计算机设备及计算机可读存储介质，可以用于解决现有的流式数据传输系统在传输数据的过程中，当数据管道内部某个数据流的流量陡增时，会造成整个数据管道内的所有数据流分发出现延迟的问题。

本申请实施例的一个方面提供了一种数据传输方法，应用于流式数据传输系统中，所述流式传输系统包括由多个数据采集插件组成的数据上报边缘层、由网关组成的数据上报网关层、由Kafka集群组成的数据缓存层、由Flink集群组成的数据分发层及由多个终端组成的数据存储层，所述方法包括：

所述数据采集插件从数据源中采集数据流，并采用数据上报请求将采集到的数据上报至所述网关，其中，不同的数据流具有的数据流标识不同，每一个数据上报请求中包含的数据具有相同的数据流标识；

所述网关在接收到所述数据上报请求后，将所述数据上报请求中的数据存储至目标请求队列中，其中，具有不同的数据流标识的数据存储的请求队列不同；

所述网关通过轮询方式从生产者池中确定每一个请求队列对应的目标生产者，并通过所述目标生产者在预设的时间段内将所述目标生产者对应的请求队列中的存储的数据缓存至所述Kafka集群的目标主题中，其中，不同的请求队列对应的主题不同；

所述Flink集群通过多个Flink SQL作业消费Kafka集群的各个主题中缓存的数据，并将消费到的数据分发至目标终端中，其中，每一个Flink SQL作业消费一个主题中缓存的数据。

可选的，所述流式数据传输系统还包括数据传输管理模块，所述方法还包括：

所述数据传输管理模块根据用户对所述数据源中的待采集数据流的配置信息生成所述待采集数据流的元数据信息，并将所述元数据信息保存至预设的数据库中，其中，所述元数据信息包括所述待采集数据流的数据流标识，所述待采集数据流对应缓存的主题信息、所述待采集数据流分发的终端信息。

可选的，所述数据采集插件从数据源中采集数据流，并采用数据上报请求将采集到的数据上报至所述网关包括：

所述数据采集插件通过不同的数据采集进程从数据源中采集不同的数据流，并采用不同的数据上报请求将不同的数据流中的数据上报至所述网关。

可选的，所述方法还包括：