[发明专利]一种数据集成速度的调整方法、装置、设备及介质

说明书

本申请公开了一种数据集成速度的调整方法、装置、设备及介质，由于本申请实施例中，可以根据确定的数据源中当前时间段的数据量的信息，预测当前时间段之后的目标时间段的目标数据量的信息，并基于预先保存的数据量的信息与运行参数的对应关系，确定目标运行参数并调整数据集成的速度，从而能够保证数据量动态变化与数据集成速度调整的动态平衡，进而能够保证数据源以及数据仓库的稳定运行，避免数据仓库与数据源出现宕机。

技术领域

本申请涉及数据集成技术领域，尤其涉及一种数据集成速度的调整方法、装置、设备及介质。

背景技术

随着大数据技术的快速发展，海量数据在汇聚、分析和挖掘等数据处理领域发挥着越来越重要的作用，也成为了越来越重要的数据资产。但是在数据处理的过程中，原始数据零散的分布在不同的数据源中，也就是形成了数据孤岛，因此可以将这些零散分布的数据写入到数据仓库中，从而实现数据共享，并保证存储在数据仓库中的数据能够供人们直接使用。

然而数据源中的数据量是实时变化的，且可能存在数据量动态变化太剧烈而影响数据集成的效果以及数据源的稳定性。因此，基于数据源中的数据量的变化趋势，动态调整数据集成的速度至关重要，现有技术中，传统的数据集成技术无法根据数据量的变化趋势，动态调整数据集成的速度，因此利用现有技术无法保证数据源以及数据仓库的稳定运行，甚至会导致数据仓库与数据源出现宕机。

发明内容

本申请提供了一种数据集成速度的调整方法、装置、设备及介质，用以解决现有技术无法动态调整数据集成的速度，从而无法保证数据源以及数据仓库的稳定运行，甚至会导致数据仓库与数据源出现宕机的问题。

本申请提供了一种数据集成速度的调整方法，所述方法包括：

确定数据源中当前时间段的数据量的信息，根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息；

根据预先保存的数据量的信息与运行参数的对应关系，确定所述目标数据量的信息对应的目标运行参数，并根据所述目标运行参数，调整数据集成的速度。

进一步地，所述确定数据源中当前时间段的数据量的信息之前，所述方法还包括：

确定当前时间段是否为首次确定的时间段；

所述确定数据源中当前时间段的数据量的信息包括：

若当前时间段为非首次确定的时间段，则根据所述当前时间段之前的每个时间段确定的数据量的信息以及所述预先设定的函数，确定当前时间段的数据量的信息；

若当前时间段为首次确定的时间段，则根据数据源中当前时间段内的数据量以及所述当前时间段的时长，确定当前时间段的数据量的信息。

进一步地，所述根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息包括：

若当前时间段为非首次确定的时间段，根据当前时间段的编号以及所述当前时间段之前的时间段的编号，确定当前时间段与所述当前时间段之前的时间段对应的权重；

根据所述当前时间段与所述当前时间段之前的时间段对应的权重以及所述当前时间段与所述当前时间段之前的时间段的数据量的信息中携带的数据量的增速，确定数据量的增速的权重和，并确定所述权重和与当前时间段的数据量的信息中携带的数据量的增速的第一和值，将所述第一和值确定为所述目标时间段对应的目标数据量的增速；

确定所述目标数据量的增速与预先设定的第一数值的第一乘积，并确定所述第一乘积与当前时间段末的数据量的第二和值，将所述第二和值确定为所述目标时间段对应的目标数据量的增量。

进一步地，所述根据所述当前时间段的数据量的信息以及预先设定的函数，确定当前时间段之后的目标时间段对应的目标数据量的信息包括：