[发明专利]表数据同步方法与装置

说明书

本申请涉及一种同步工具同步效率评测方法、装置、计算机设备、存储介质和计算机程序产品，获取不同同步工具对表数据的同步处理效率指标，所述同步处理效率指标包括同步耗时、内存占用率以及CPU使用率；基于不同同步处理效率指标对应的指标区间，将所述效率指标分别进行区间归一化和绝对值归一化，得到区间归一化值和绝对值归一化值；读取预设不同同步处理效率指标对应的加权系数；根据所述加权系数以及所述区间归一化值以及所述绝对值归一化值，得到同步工具对应的效率评分。另外，本申请还提供一种表数据同步方法、装置、计算机设备、存储介质和计算机程序产品，其可以实现高效的表数据同步。

技术领域

本申请涉及计算机技术领域，特别是涉及一种表数据同步方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着计算机技术的发展，出现了大数据技术，大数据技术能够集中对庞大数量的数据进行处理，提高了数据处理效率。在大数据处理中针对不同表数据的同步处理是非常重要的部分。

传统技术中，表数据同步一般基于同步工具来实现的，同步工具包括MySql-Cli、DataX、Sqoop、Kettle等。MySql-Cli、Kettle对小表同步耗时短，MySql-Cli、DataX对中表同步耗时短，Sqoop对大表同步耗时短。将MySql数据库的表同步到Hive表，主流是使用一种同步工具便于维护。无论大表还是小表均采用一种同步工具，同步工具无法兼顾同步效率。

可见，目前急需一种表数据同步工具效率测评方案，筛选出适用于当前表数据同步的同步工具，以支持表数据高效同步。

发明内容

基于此，有必要针对上述技术问题，提供一种支持表数据高效同步的表数据同步工具评测方法、装置、计算机设备、存储介质和计算机程序产品以及可以是实现高效同步的表数据同步方法、装置、计算机设备、存储介质和计算机程序产品。

第一方面，本申请提供了一种同步工具同步效率评测方法。所述方法包括：

获取不同同步工具对表数据的同步处理效率指标，所述同步处理效率指标包括同步耗时、内存占用率以及CPU使用率；

基于不同同步处理效率指标对应的指标区间，将所述同步处理效率指标分别进行区间归一化和绝对值归一化，得到区间归一化值和绝对值归一化值；读取预设不同同步处理效率指标对应的加权系数；

根据所述加权系数以及所述区间归一化值以及所述绝对值归一化值，得到同步工具对应的效率评分。

在其中一个实施例中，所述根据所述加权系数以及所述区间归一化值以及所述绝对值归一化值，得到同步工具对应的效率评分包括：

根据所述加权系数以及所述区间归一化值得到效率综合评分，并根据所述加权系数以及所述绝对值归一化值得到效率辅助评分；

结合所述效率综合评分和所述效率辅助评分，得到同步工具对应的效率评分。

在其中一个实施例中，所述结合所述效率综合评分和所述效率辅助评分，得到同步工具对应的效率评分之后，还包括：

基于所述效率综合评分以及预设顺序，对不同同步工具进行排序，得到初始序列；

确定所述初始序列中并列的同步工具；

根据所述效率辅助评分以及所述预设顺序，对所述并列的同步工具进行排序，以更新所述初始序列，得到目标序列；

根据所述目标序列，筛选同步工具。

在其中一个实施例中，所述读取预设不同同步处理效率指标对应的加权系数之前，还包括：

获取不同同步工具对样本表数据同步处理的训练数据；

根据所述训练数据，提取不同同步工具对应的同步耗时、内存占用率以及CPU使用率；