[发明专利]同步延迟时间动态配置方法、装置、电子设备及介质

说明书

本公开提供了一种同步延迟时间动态配置方法，涉及云计算技术领域。该方法用于对分布式集群中的各个节点的交易信息进行同步，对于分布式集群中的任意一个节点，该方法包括：获取该节点在当前时间段内的待延迟交易数据；使用预先构建的高峰交易预测模型判断当前时间段是否为交易高峰期，如果是，则使用预先构建的同步时延预测模型对待延迟交易数据对应的可允许延迟时间进行预测；以及按照预测出的可允许延迟时间对待延迟交易数据进行同步。本公开还提供了一种同步延迟时间动态配置装置、设备、存储介质和程序产品。

技术领域

本公开涉及云计算技术领域，具体涉及数据同步技术领域，更具体地涉及一种同步延迟时间动态配置方法、装置、电子设备及介质。

背景技术

由集中式架构到分布式架构的技术转型潮流中，解决主机数据与平台数据的差异是数据处理常见的问题之一，利用中间件将主机数据同步到平台数据库是常见的处理方法，但是主机数据同步到平台数据可能出现延迟，导致平台数据同步不及时，查找相关数据时数据不存在等问题。

目前，kafka流处理平台技术可以实现数据的同步，然后通过判断kafka消费的时间与当前时间之差大于设定的某一阈值即判断为同步异常，从而查询主机数据或者交易失败等，该阈值通常是由经验得到的固定值或者是通过各阶段时间获取的平均值。

但是，通过设置固定的阈值来判断数据同步的延迟时间存在经验的主观判断，并且数据同步的延迟时间也与网络、CPU负载、数据量等因素有关，同时固定阈值无法体现数据同步是否存在问题。

发明内容

鉴于上述技术问题，本公开提供了一种同步延迟时间动态配置方法、装置、电子设备及介质。

根据本公开的第一个方面，提供了一种同步延迟时间动态配置方法，用于对分布式集群中的各个节点的交易信息进行同步，对于分布式集群中的任意一个节点，方法包括：获取该节点在当前时间段内的待延迟交易数据；使用预先构建的高峰交易预测模型判断当前时间段是否为交易高峰期，如果是，则使用预先构建的同步时延预测模型对待延迟交易数据对应的可允许延迟时间进行预测；以及按照预测出的可允许延迟时间对待延迟交易数据进行同步。

根据本公开的实施例，高峰交易预测模型根据以下方式预先构建：获取该节点的历史交易样本集，其中，历史交易样本集包括已延迟交易的多个历史交易样本，每个历史交易样本包括至少一项历史延迟交易属性；采用改进的密度峰值聚类算法，将历史交易样本集划分为初始聚类中心点集；以及采用预设目标函数对初始聚类中心点集进行循环迭代，得到目标聚类中心点集，得出构建好的高峰交易预测模型。

根据本公开的实施例，采用改进的密度峰值聚类算法，将历史交易样本集划分为初始聚类中心点集，具体包括：使用K近邻算法和高斯核函数，计算每个历史交易样本的局部密度；根据局部密度，计算每个历史交易样本的聚类中心距离；以及根据局部密度和聚类中心距离来构建决策图，选取局部密度和聚类中心距离均较大的前c个历史交易样本作为初始聚类中心点集，c≥2。

根据本公开的实施例，每个历史交易样本的局部密度根据以下公式计算得出：

其中，KNN_i表示第i个历史交易样本的k近邻数据点集；n表示历史交易样本集的样本个数；表示第i个历史交易样本与其k近邻数据点集之间的平均距离；μ^k指所有历史交易样本的之和的平均距离；d_ij表示第i个历史交易样本与第j个历史交易样本之间的欧氏距离；ρ_i表示第i个历史交易样本的局部密度。

根据本公开的实施例，根据局部密度，计算每个历史交易样本的聚类中心距离，具体包括：计算每个聚类簇的所有数据点到聚类中心的平均距离；根据预设合并规则合并相似的聚类簇，计算任意两个聚类簇的所有边界点；根据平均距离和所有边界点，计算每个聚类簇边界点的局部密度；以及计算每个聚类簇的第i个数据点与比第i个数据点的局部密度更高的数据点之间的欧式距离，得到每个历史交易样本的聚类中心距离。