[发明专利]一种监控数据分流传输的方法、系统、设备和存储介质

说明书

本发明提供了一种监控数据分流传输的方法、系统、设备和存储介质，方法包括：获取存储服务器的最大并发支撑量，基于所述最大并发支撑量确定令牌总数，并基于所述令牌总数确定生成令牌之间的时间间隔；根据所述令牌总数和所述时间间隔生成令牌，并将生成的令牌放入令牌容器中；将采集到的监控数据和回传的监控数据发送到数据传输队列中，并从所述令牌容器中取出令牌依次分发给所述数据传输队列中的监控数据；以及将所述数据传输队列中获取到令牌的监控数据写入数据库，并每隔预设时间将所述数据传输队列中未获取到令牌的监控数据进行回传。本发明通过令牌容器的均速分流，实现了对存储数据库的过载限流，提高了系统稳定性。

技术领域

本领域涉及数据传输领域，更具体地，特别是指一种监控数据分流传输的方法、系统、设备和存储介质。

背景技术

随着边缘云系统业务规模的扩大升级和边缘节点的数量增加，监控数据的采集量越来越大，对数据存储的压力越来越大，对监控数据进行稳定传输要求越来越高。一方面要求监控数据传输要具备稳定、抗压能力；另一方面要求监控数据存储流量的可视化以及流量过载预警通知。

在边缘云平台监控领域中，监控数据通常是按时间序列存储到时间序列数据库中，单个时间序列数据库通常就已经具备较高的数据吞吐能力。传统监控数据的存储传输，在数据量可控时通常是将数据全部输出到单个存储数据库，只有业务达到一定规模后导致数据量过大，才会以服务异常的被动方式发现存储过载导致存储服务崩溃等问题。也有一部分会在系统初期简单评估数据规模，通过经验的方式进行分布式数据存储，但同样这种方式依旧不可控，同时数据流量低的情况下，会带来资源的浪费、系统复杂度过高的问题。因此传统的监控存储方法是不能完全满足当前需求。

发明内容

有鉴于此，本发明实施例的目的在于提出一种监控数据分流传输的方法、系统、计算机设备及计算机可读存储介质，本发明通过将数据输入与存储服务做了管道过滤隔离，对输入数据做了限流处理，将过滤通过的输入数据输入到存储服务，其他输入数据分流到缓存服务再根据适应策略进行数据回传，从而一方面提高了监控数据传输流量的稳定性，有效降低了高数据量对存储数据库的冲击，不会因为洪水监控数据的输入导致存储崩溃，继而导致整个系统不可用的问题，另一方面缓存回传服务根据策略进行主动回传可以保障了采集数据进入存储服务的数据连续完整，不会导致采集数据部分丢失。

基于上述目的，本发明实施例的一方面提供了一种监控数据分流传输的方法，包括如下步骤：获取存储服务器的最大并发支撑量，基于所述最大并发支撑量确定令牌总数，并基于所述令牌总数确定生成令牌之间的时间间隔；根据所述令牌总数和所述时间间隔生成令牌，并将生成的令牌放入令牌容器中；将采集到的监控数据和回传的监控数据发送到数据传输队列中，并从所述令牌容器中取出令牌依次分发给所述数据传输队列中的监控数据；以及将所述数据传输队列中获取到令牌的监控数据写入数据库，并每隔预设时间将所述数据传输队列中未获取到令牌的监控数据进行回传。

在一些实施方式中，所述基于所述最大并发支撑量确定令牌总数，并基于所述令牌总数确定生成令牌之间的时间间隔包括：将所述最大并发支撑量作为令牌总数，并确定生成令牌之间的时间间隔为令牌总数的倒数。

在一些实施方式中，所述从所述令牌容器中取出令牌依次分发给所述数据传输队列中的监控数据包括：按照1比1的比例以及所述时间间隔依次给所述数据传输队列中的监控数据分发令牌。

在一些实施方式中，方法还包括：判断回传数据的总量是否超过阈值；以及响应于回传数据的总量超过阈值，将所述回传数据中预设比例的监控数据丢弃。