[发明专利]数据实时处理方法、装置、介质和电子设备

权利要求书

1.一种数据实时处理方法，其特征在于，所述方法包括：

确定多个数据处理任务对应的最小归档时间，其中，所述最小归档时间是基于所述多个数据处理任务已处理的数据的事件时间确定的，数据的事件时间表示所述数据产生的时间；

针对每一所述数据处理任务，根据所述最小归档时间，确定该数据处理任务接收到的待处理数据的目标存储位置，所述目标存储位置用于指示所述待处理数据对应的时段目录；

将所述待处理数据存储至所述目标存储位置，并更新所述多个数据处理任务对应的最小归档时间；

根据更新后的最小归档时间，生成Hive分区。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定每一所述数据处理任务对应的数据源分区；

所述确定多个数据处理任务对应的最小归档时间，包括：

针对每一所述数据处理任务，根据该数据处理任务对应的数据源分区的归档时间，将所述数据源分区的归档时间中最早的归档时间确定为该数据处理任务的归档时间，其中，所述数据源分区的归档时间为所述数据源分区中已处理的数据对应的最晚的事件时间；

将所述多个数据处理任务的归档时间中最早的归档时间确定为所述多个数据处理任务对应的最小归档时间。

3.根据权利要求2所述的方法，其特征在于，所述根据所述最小归档时间，确定该数据处理任务接收到的待处理数据的目标存储位置，包括：

在确定所述待处理数据的事件时间满足归档条件的情况下，将所述事件时间对应的存储位置确定为所述目标存储位置；

在确定所述待处理数据的事件时间未满足所述归档条件的情况下，将所述待处理数据的处理时间对应的存储位置确定为所述目标存储位置；

其中，所述归档条件为所述待处理数据的事件时间晚于所述最小归档时间，并且所述事件时间晚于所述待处理数据对应的容错归档时间，所述容错归档时间是基于所述待处理数据所属的数据源分区的归档时间确定的。

4.根据权利要求1所述的方法，其特征在于，所述根据更新后的最小归档时间，生成Hive分区，包括：

在所述更新后的最小归档时间到达与所述更新后的最小归档时间对应的分区生成时间的情况下，根据已存储的数据生成所述Hive分区。

5.根据权利要求1-4中任一项所述的方法，其特征在于，每一目标存储位置对应的时段目录下包含多个子目录；

所述方法还包括：

根据所述待处理数据的内容特征信息，确定与所述待处理数据对应的目标子目录；

所述将所述待处理数据存储至所述目标存储位置，包括：

将所述待处理数据存储至所述目标存储位置对应的所述时段目录下的所述目标子目录。

6.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

每间隔预设时间，获取每一数据处理任务所使用的每一文件句柄的最后访问时间；

在所述文件句柄的最后访问时间距离当前处理时间的时间差超过时间阈值时，释放所述文件句柄。

7.一种数据实时处理装置，其特征在于，所述装置包括：

第一确定模块，用于确定多个数据处理任务对应的最小归档时间，其中，所述最小归档时间是基于所述多个数据处理任务已处理的数据的事件时间确定的，数据的事件时间表示所述数据产生的时间；

第二确定模块，用于针对每一所述数据处理任务，根据所述最小归档时间，确定该数据处理任务接收到的待处理数据的目标存储位置，所述目标存储位置用于指示所述待处理数据对应的时段目录；

存储模块，用于将所述待处理数据存储至所述目标存储位置，并更新所述多个数据处理任务对应的最小归档时间；

生成模块，用于根据更新后的最小归档时间，生成Hive分区。