[发明专利]用于处理数据的方法、装置、电子设备和介质

说明书

本公开的实施例公开了用于处理数据的方法、装置、电子设备和介质。该方法的一具体实施方式包括：获取待处理的业务数据；获取与该待处理的业务数据相匹配的缓存数据，其中，该相匹配的缓存数据用于表征与该待处理的业务数据相关联的数据集的统计特征；基于该待处理的业务数据和该相匹配的缓存数据，生成处理后的业务数据，其中，该处理后的业务数据用于表征该待处理的业务数据和与该待处理的业务数据相关联的数据集所组成的集合的统计特征。该实施方式有效减少了需要存储和进行网络传输的数据量，并且在大规模数据的处理场景中能够显著提升缓存的性能。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及用于处理数据的方法、装置、电子设备和介质。

背景技术

随着互联网技术的飞速发展，数据量的规模也急剧膨胀。如何有效地处理和存储数据成为越来越值得研究的问题。

现有技术之一通常基于SQL(Structured Query Language，结构化查询语言)数据库或时序数据结构的缓存中间件存储明细数据，在需获取方差等一定规模数据量的统计特征时通过对所存储的明细数据进行利用SQL计算或基于内存的CPU计算得到方差等统计特征。但上述方式在处理海量数据时会由于数据量过大引起SQL计算的性能问题以及由于大量数据加载至本地内存而导致数据传输成本过大，并且计算量受制于机器内存，造成计算缓慢甚至不可用的问题。

发明内容

本公开的实施例提出了用于处理数据的方法、装置、电子设备和介质。

第一方面，本公开的实施例提供了一种用于处理数据的方法，该方法包括：获取待处理的业务数据；获取与待处理的业务数据相匹配的缓存数据，其中，相匹配的缓存数据用于表征与待处理的业务数据相关联的数据集的统计特征；基于待处理的业务数据和相匹配的缓存数据，生成处理后的业务数据，其中，处理后的业务数据用于表征待处理的业务数据和与待处理的业务数据相关联的数据集所组成的集合的统计特征。

在一些实施例中，该方法还包括：将处理后的业务数据确定为更新后的缓存数据；存储更新后的缓存数据，以更新缓存数据。

在一些实施例中，上述待处理的业务数据中包括时序字段，上述缓存数据与时间窗标识对应；以及上述获取与待处理的业务数据相匹配的缓存数据，包括：从预设的缓存数据集中选取与待处理的业务数据的时序字段相匹配的时间窗标识对应的缓存数据，其中，预设的缓存数据集中的缓存数据用于表征时间窗标识所指示的时间窗内的数据集的统计特征。

在一些实施例中，上述待处理的业务数据包括流式数据。

在一些实施例中，上述基于待处理的业务数据和相匹配的缓存数据，生成处理后的业务数据，包括：根据待处理的业务数据，生成与相匹配的缓存数据所表征的统计特征一致的中间数据；根据相匹配的缓存数据和中间数据，生成处理后的业务数据。

在一些实施例中，上述根据相匹配的缓存数据和中间数据，生成处理后的业务数据，包括：响应于确定相匹配的缓存数据为空，将中间数据确定为处理后的业务数据。

在一些实施例中，上述根据相匹配的缓存数据和中间数据，生成处理后的业务数据，包括：响应于确定相匹配的缓存数据不为空，根据中间数据和相匹配的缓存数据，生成处理后的业务数据。

在一些实施例中，上述统计特征包括数据的数目和数据的总和；以及上述根据中间数据和相匹配的缓存数据，生成处理后的业务数据，包括：将中间数据和相匹配的缓存数据中用于表征数据的数目的值之和确定为处理后的业务数据中用于表征数据的数目的值；将中间数据和相匹配的缓存数据中用于表征数据的总和的值之和确定为处理后的业务数据中用于表征数据的总和的值。

在一些实施例中，上述根据中间数据和相匹配的缓存数据，生成处理后的业务数据，还包括：将处理后的业务数据中用于表征数据的总和的值与用于表征数据的数目的值的比值确定为处理后的业务数据中用于表征数据的平均值的值。