[发明专利]数据实时处理方法、装置、介质和电子设备

说明书

本公开涉及一种数据实时处理方法、装置、介质和电子设备，所述方法包括：确定多个数据处理任务对应的最小归档时间，其中，所述最小归档时间是基于所述多个数据处理任务已处理的数据的事件时间确定的；针对每一所述数据处理任务，根据所述最小归档时间，确定该数据处理任务接收到的待处理数据的目标存储位置，所述目标存储位置用于指示所述待处理数据对应的时段目录；将所述待处理数据存储至所述目标存储位置，并更新所述多个数据处理任务对应的最小归档时间；根据更新后的最小归档时间，生成Hive分区。由此，可以实现数据的实时处理，提高数据处理的效率，可以在一定程度上保证该待处理数据存储位置的准确性，保证数据处理的有序性。

技术领域

本公开涉及数据处理领域，具体地，涉及一种数据实时处理方法、装置、介质和电子设备。

背景技术

大数据处理领域中，一个典型的场景是做数仓建设以及指标计算，将异构数据源的数据导入到Hive中，实现数据处理和数据同步，以供下游对数据的使用。然而现有技术中，通常是是采用批处理的方式，在将数据全部写入Hive中后，统一生产Hive分区，难以实现数据实时处理。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种数据实时处理方法，所述方法包括：

确定多个数据处理任务对应的最小归档时间，其中，所述最小归档时间是基于所述多个数据处理任务已处理的数据的事件时间确定的；

针对每一所述数据处理任务，根据所述最小归档时间，确定该数据处理任务接收到的待处理数据的目标存储位置，所述目标存储位置用于指示所述待处理数据对应的时段目录；

将所述待处理数据存储至所述目标存储位置，并更新所述多个数据处理任务对应的最小归档时间；

根据更新后的最小归档时间，生成Hive分区。

第二方面，提供一种数据实时处理装置，所述装置包括：

第一确定模块，用于确定多个数据处理任务对应的最小归档时间，其中，所述最小归档时间是基于所述多个数据处理任务已处理的数据的事件时间确定的；

第二确定模块，用于针对每一所述数据处理任务，根据所述最小归档时间，确定该数据处理任务接收到的待处理数据的目标存储位置，所述目标存储位置用于指示所述待处理数据对应的时段目录；

存储模块，用于将所述待处理数据存储至所述目标存储位置，并更新所述多个数据处理任务对应的最小归档时间；

生成模块，用于根据更新后的最小归档时间，生成Hive分区

第三方面，提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面所述方法的步骤。

第四方面，提供一种电子设备，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现第二方面所述方法的步骤。