[发明专利]数据处理方法、装置、电子设备和计算机可读介质

说明书

本公开的实施例公开了数据处理方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：确定事件数据对应的时间分区，以生成待匹配事件信息；对待匹配事件信息进行数据结构转化处理，以生成待匹配事件数组，其中，待匹配事件数组的数据量小于待匹配事件信息的数据量；从预设目标事件数组表中选择与待匹配事件数组对应的目标事件数组作为匹配数组；对待匹配事件数组和匹配数组进行聚合处理以生成事件聚合数组。该实施方式提高了统计数据的效率以及减少内存空间被浪费。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及数据处理方法、装置、电子设备和计算机可读介质。

背景技术

Flink是由Apache(阿帕奇)软件基金会开发的开源流处理框架，其核心是分布式流数据处理引擎。Flink为用户提供统一的入口供开发者根据自己的需求来设计和实现一些复杂的指标计算功能。目前，常用的底层数据统计方法是采用long数据类型的数组进行统计。

然而，当采用上述方式进行数据处理时，经常会存在如下技术问题：

第一，利用传统的long数据类型的数组来实现底层数据统计，会存在大部分数据占用空间较小，远远达不到long数据类型的数组所能存放的最大存储空间，从而造成较多的空间被浪费。

第二，在面对数据高度聚集的场景下，会产生千万量级别的数据。但由于缺乏对相同时间段内的数据进行聚合计算，从而导致底层数据结构中存放较多相同时间段内的重复计数量数据，造成统计数据的效率较低。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。本公开的一些实施例提出了数据处理方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面，本公开的一些实施例提供了一种数据处理方法，该方法包括：确定事件数据对应的时间分区，以生成待匹配事件信息；对上述待匹配事件信息进行数据结构转化处理，以生成待匹配事件数组，其中，上述待匹配事件数组的数据量小于待匹配事件信息的数据量；从预设目标事件数组表中选择与上述待匹配事件数组对应的目标事件数组作为匹配数组；对上述待匹配事件数组和上述匹配数组进行聚合处理以生成事件聚合数组。

可选地，方法还包括：基于上述事件聚合数组，对上述预设目标事件数组表进行表更新处理，以生成事件数组更新表；响应于确定上述事件数组更新表中存在预设过期时间段内的事件数组，将上述事件数组从上述事件数组更新表中删除，以生成需求数组表。

可选地，事件数据包括：事件时间戳、待匹配维度值、待匹配统计键值和待匹配事件计数量，以及确定事件数据对应的时间分区，以生成待匹配事件信息，包括：响应于确定上述事件数据包括的事件时间戳在预设时间段范围内，基于上述预设时间段，对上述事件时间戳进行时间替换，得到时间标识。对上述时间标识进行时间格式转换，得到待匹配时间标识；对上述待匹配时间标识、上述待匹配维度值、上述待匹配统计键值和上述待匹配事件计数量进行数据组合，得到待匹配事件信息。

可选地，预设目标事件数组表包括：行索引值集、上述行索引值集中的各个行索引值对应的维度数组集和上述行索引值集中的行索引值对应的事件数组集，其中，上述事件数组集中的事件数组包括：统计键数组、时间数组和计数数组。

可选地，对上述待匹配事件信息进行数据结构转化处理，以生成待匹配事件数组，包括：响应于确定上述待匹配维度值大于预设维度空间存储容量值，对上述待匹配维度值进行取余操作，以生成数据维度取余值；确定上述数据维度取余值的数据占用空间，以生成维度值存储空间；基于上述维度值存储空间，生成待匹配维度数组。