[发明专利]一种服务器节点的数据传输方法、装置以及介质

说明书

本申请公开了一种服务器节点的数据传输方法、装置以及介质，应用于数据传输领域。该方法会采集管理节点自身的样本数据以及各服务器节点的样本数据，管理节点自身的样本数据以及服务器节点的样本数据分别用于表征管理节点自身处理数据的状态和服务器节点传输数据的状态；因此，可根据样本数据设定各服务器节点发送数据的频率以及发送的数据块中数据量的大小；并控制各服务器节点按设定的频率和数据块大小发送数据。可实现动态调整各服务器节点的发送频率及数据块大小，例如，当有服务器节点出现数据积压时，加快该服务器节点的数据传输的频率和增大传输的数据块的大小，可以防止数据积压。

技术领域

本申请涉及数据传输领域，特别是涉及一种服务器节点的数据传输方法、装置以及介质。

背景技术

随着社会信息化及数据挖掘飞速发展，对数据信息处理能力的要求越来越高，不仅是石油勘探、气象预报、航天国防、科学研究等领域需要高性能计算机，而且在金融、政府信息化、教育、企业、网络游戏等领域对高性能计算的需求也迅猛增长。在大规模集群数据交互的应用场景中，集群内有多个保存有数据的服务器节点，各服务器节点和管理节点(也可称为管理服务器)之间需要进行数据传输，各服务器节点的硬件状态及性能影响着整个集群的数据处理情况，另外，集群中的管理节点还用于对各服务器节点进行监控。目前，服务器节点会在传输数据时，会按默认的频率和数据块大小向管理端节点发送数据。

但是，在处理大量数据时，极易出现服务器节点间的数据积压，导致各服务器节点无法及时将数据传输出去，进而导致整个集群对数据的处理效率低。

由此可见，如何避免服务器节点间的数据积压，是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种服务器节点的数据传输方法、装置以及介质，以避免服务器节点间的数据积压。

为解决上述技术问题，本申请提供一种服务器节点的数据传输方法，包括：

采集样本数据；其中，所述样本数据包括管理节点自身的所述样本数据以及各所述服务器节点的所述样本数据，所述管理节点自身的所述样本数据以及所述服务器节点的所述样本数据分别用于表征所述管理节点自身处理数据的状态和所述服务器节点传输数据的状态；

根据所述样本数据设定各所述服务器节点发送数据的频率以及发送的数据块中数据量的大小；

控制各所述服务器节点按设定的频率和数据块大小发送数据。

优选地，所述样本数据包括：

各所述服务器节点发送的数据块、各所述服务器节点发送数据的频率、各所述服务器节点的吞吐量、所述管理节点的负载、所述管理节点的CPU利用率、所述管理节点的网络带宽。

优选地，所述根据所述样本数据设定各所述服务器节点发送数据的频率以及发送的数据块中数据量的大小包括：

筛选出发送的数据块中数据量小于阈值的所述服务器节点作为目标服务器节点；

增大所述目标服务器节点发送的数据块的数据量并减少所述目标服务器节点发送数据的频率。

优选地，根据所述样本数据设定各所述服务器节点发送数据的频率包括：

根据各所述服务器节点发送数据的频率、各所述服务器节点的吞吐量、所述管理节点的负载、所述管理节点的CPU利用率、所述管理节点的网络带宽预测所述管理节点在各所述服务器节点下一次传输数据时的负载；

根据预测的所述管理节点在各所述服务器节点下一次传输数据时的负载设定各所述服务器节点发送数据的频率。

优选地，所述根据各所述服务器节点发送数据的频率、各所述服务器节点的吞吐量、所述管理节点的负载、所述管理节点的CPU利用率、所述管理节点的网络带宽预测所述管理节点在各所述服务器节点下一次传输数据时的负载包括：