[发明专利]数据处理方法及装置

说明书

本发明提供一种数据处理方法及装置。该方法包括：根据目标数据索引，确定目标数据最后一次更新的存储位置；基于所述存储位置，确定所述目标数据的中间变量数据；其中，所述中间变量数据用于指示所述目标数据中产生更新的数据。本发明提供的数据处理方法及装置，可以减少数据存储冗余，并可以减少数据处理时的资源占用。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。

背景技术

通常情况下，为了保证数据服务的实时性，数据仓库通常使用数据冗余方案预汇总数据，导致对数据存储空间的占用极高，一般在T以上的量级。在一般数据处理场景中，该存储方式的冗余度高达90％以上，进而会影响数据处理效率。

其次，在此场景下，每对服务器每进行一次数据处理请求，都需要对全量数据运算，会对服务器造成很大的压力，且占用了服务器额外资源，影响其工作效率和性能。

发明内容

本发明提供一种数据处理方法及装置，用以解决现有技术中数据存储冗余度高以及数据处理占用资源大的技术问题。

本发明提供一种数据处理方法，包括：

根据目标数据索引，确定目标数据最后一次更新的存储位置；

基于所述存储位置，确定所述目标数据的中间变量数据；

其中，所述中间变量数据用于指示所述目标数据中产生更新的数据。

在一个实施例中，所述根据目标数据索引，确定目标数据最后一次更新的存储位置，包括：

根据所述目标数据的数据快照以及所述目标数据索引，确定所述目标数据最后一次更新的数据快照；

基于所述目标数据最后一次更新的数据快照，确定所述存储位置。

在一个实施例中，在所述根据目标数据索引，确定目标数据最后一次更新的存储位置之前，还包括：

根据增量数据，更新所述目标数据索引；

基于更新后的目标数据索引，更新所述目标数据的中间变量数据。

在一个实施例中，在所述确定所述目标数据的中间变量数据之后，还包括：

根据所述中间变量数据，确定所述中间变量数据的统计指标；

将所述统计指标的计算结果确定为所述中间变量数据的处理结果。

在一个实施例中，所述中间变量数据包括以下至少一项：

数据累计计数、数据累计求和、数据累计计数的平方和、数据累计计数的立方和、数据最大值、数据最小值、数据的分组类型和分组计数的键值对。

本发明还提供一种数据处理装置，包括：

第一确定模块，用于根据目标数据索引，确定目标数据最后一次更新的存储位置；

第二确定模块，用于基于所述存储位置，确定所述目标数据的中间变量数据；

其中，所述中间变量数据用于指示所述目标数据中产生更新的数据。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据处理方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据处理方法的步骤。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据处理方法的步骤。