[发明专利]数据存储及数据查询方法、装置、设备、介质

说明书

本发明提供一种数据存储及数据查询方法、装置、设备、介质，该方法应用于电子设备，包括：依据目标时间戳确定需存储的目标数据所处的目标时间区间；将所述目标时间区间发送至本设备加载的spark引擎，以由所述spark引擎依据所述目标时间区间从spark数据文件中获取目标数据并将所述目标数据转换为目标弹性分布式数据集RDD；从所述spark引擎获取目标RDD，并将所述目标RDD存储到所述spark引擎对应的RDD缓存空间中。解决因无法针对感兴趣时间段的数据进行操作而导致的操作效率低的问题。

技术领域

本发明涉及分布式数据处理技术领域，尤其涉及的是一种数据存储及数据查询方法、装置、设备、介质。

背景技术

Spark是一种快速通用的分布式计算引擎。Spark Streaming是Spark核心API的扩展，用于可伸缩、高吞吐量、可容错地处理在线流数据，Spark Streaming可从数据源中实时批量获取数据，获取的这些数据记录在spark数据文件中。为了便于数据查询等操作，需要对spark数据文件中的数据进行相应处理及存储。

相关的数据存储方式中，spark引擎利用自身固定的逻辑执行方式来实现数据存储，具体是，spark引擎从spark数据文件中读取处于指定时间窗口内的数据，再对这些数据进行存储等操作。

由于spark引擎只能一次性读取处于指定时间窗口内的数据，数据量很大甚至会出现大小超过几十GB的情形，无法针对感兴趣时间段的数据进行操作，导致操作效率低的问题。

发明内容

有鉴于此，本发明提供一种数据存储及数据查询方法、装置、设备、介质，解决因无法针对感兴趣时间段的数据进行操作而导致的操作效率低的问题。

本发明第一方面提供一种数据存储方法，该方法应用于电子设备，包括：

依据目标时间戳确定需存储的目标数据所处的目标时间区间；

将所述目标时间区间发送至本设备加载的spark引擎，以由所述spark引擎依据所述目标时间区间从spark数据文件中获取目标数据并将所述目标数据转换为目标弹性分布式数据集RDD；

从所述spark引擎获取目标RDD，并将所述目标RDD存储到所述spark引擎对应的RDD缓存空间中。

根据本发明的一个实施例，所述目标时间戳包括至少一个字段；

所述目标时间戳的指定字段上的时间取值与第一设定时间T1进行取模运算得到的取模结果等于设定数值K。

根据本发明的一个实施例，所述目标时间戳是由外部设备输入至所述电子设备；或者，

所述目标时间戳是从所述spark数据文件每次新写入的数据的最大时间戳中确定出的；或者，

所述目标时间戳是从所述电子设备在所述spark数据文件每次新写入数据时的系统时间戳中确定出的。

根据本发明的一个实施例，所述依据目标时间戳确定需存储的目标数据所处的目标时间区间包括：

将在所述目标时间戳之前、且与所述目标时间戳相差第二设定时间T2的时间戳作为起始时间戳；

将从所述起始时间戳开始的一段指定时间段作为所述目标时间区间。

根据本发明的一个实施例，将所述目标RDD存储到所述spark引擎对应的RDD缓存空间中，包括：

对所述目标RDD中的数据进行聚合处理；

将聚合处理后的目标RDD存储到所述spark引擎对应的RDD缓存空间中。

根据本发明的一个实施例，在将所述目标RDD存储到所述spark引擎对应的RDD缓存空间中进一步包括：