[发明专利]多数据流的数据拼接触发方法、装置、电子设备和介质

说明书

本申请公开了一种多数据流的数据拼接触发方法、装置、电子设备和介质，涉及大数据处理技术领域。具体实现方案为：接收多个数据流的数据，其中多个数据流包括一个主数据流和至少一个从数据流；对于主数据流，基于主数据流的主数据中携带的主事件时间，确定主数据流对应的主低水位值；对于各从数据流，基于从数据流的从数据中携带的从事件时间，确定从数据流对应的从低水位值；根据主低水位值和从低水位值，触发执行对当前时间窗口内的主数据和从数据进行拼接的操作。由于低水位值反映数据流的数据到达进度，因此基于各数据流分别对应的低水位值，触发执行数据拼接操作，无需设置一个较大时间窗口，可有效减少资源开销，提升数据拼接的时效性。

技术领域

本申请实施例涉及互联网技术领域，尤其涉及大数据处理技术领域，具体涉及了一种多数据流的数据拼接触发方法、装置、电子设备和介质。

背景技术

Low Watermark(低水位)相关技术近年来被大量应用于流式计算领域，采用LowWatermark(低水位)技术可以确定对流式数据进行统计计算的触发时间点，以保证在需要的数据全部到达时再进行统计计算。

目前针对多数据流，且需要对多个数据流进行数据拼接的情况，通常将多数据流作为一个数据流来看待，基于各数据流的数据所携带的事件时间(Event Time)，确定一个统一的Low Watermark值(低水位值)，然后在该统一的Low Watermark值(低水位值)到达时间窗口的结束时间时，触发执行数据拼接操作。

然而，上述这种触发多数据流的数据进行数据拼接的方法仍存在一定不足：在多数据流的数据的事件时间差异较大时，为了保证拼接成功率及精度，需要选择一个相对较大的时间窗口。然而，较大的时间窗口需要缓存的数据量较大，增加了所需的资源开销，并且数据拼接的时效性也无法保证。

发明内容

本申请实施例公开一种多数据流的数据拼接触发方法、装置、电子设备和介质，以解决数据拼接所需的资源开销大且无法保证数据拼接时效性的技术问题。

第一方面，本申请实施例公开了一种多数据流的数据拼接触发方法，包括：

接收多个数据流的数据，其中，所述多个数据流包括一个主数据流和至少一个从数据流；

对于所述主数据流，基于所述主数据流的主数据中携带的主事件时间，确定所述主数据流对应的主低水位值；

对于各所述从数据流，基于所述从数据流的从数据中携带的从事件时间，确定所述从数据流对应的从低水位值；

根据所述主低水位值和所述从低水位值，触发执行对当前时间窗口内的主数据和从数据进行拼接的操作。

上述申请中的一个实施例具有如下优点或有益效果：根据多数据流中各数据流分别对应的低水位值，触发执行对当前时间窗口内的主数据和从数据进行拼接的操作，由于各低水位值分别反映了对应数据流的数据到达进度，因此基于各数据流分别对应的低水位值，来触发执行数据拼接操作，无需设置一个较大时间窗口，可以有效的减少资源开销，提升数据拼接的时效性。

另外，根据本申请上述实施例的多数据流的数据拼接触发方法，还可以具有如下附加的技术特征：

可选的，所述方法还包括：

对于所述主数据流，基于所述主数据流的主数据中携带的主事件时间，确定所述主数据是否落入当前时间窗口；

对于各所述从数据流，基于所述从数据流的从数据中携带的主事件时间，确定所述从数据是否落入当前时间窗口。

上述申请中的一个实施例具有如下优点或有益效果：通过使用统一的事件时间(即主事件时间)作为主数据流和各从数据流的数据划分时间窗口依据，从而提高了为数据划分时间窗口的准确性，进而可以提高数据拼接准确性。