[发明专利]一种数据指标统计方法及装置

说明书

技术领域

本申请涉及数据处理技术领域，特别涉及一种数据指标统计处理方法及装置。

背景技术

近几年，随着大数据处理技术的快速发展，在很多业务场景下需要对大量用户数据进行实时分析处理。在实时数据分析过程中，通常需要对某些数据指标进行实时统计。典型的业务场景如网络购物平台，在某些重要的购物促销活动日，通常需要对平台中的某些数据指标进行统计。从大方向来说，所述数据指标可以包括交易量、交易金额、广告页面访问次数；从小方向来说，其中，交易量指标又可以包括平台整体交易量、各个城市交易量、行业交易量、商户交易量、门店交易量等多个维度的交易量。

为了满足大数据的实时处理需求，现有技术中出现多个如Storm、Spark、Samza等流式大数据处理框架以及基于上述框架所构建的流式大数据处理引擎，典型的如阿里巴巴的Galaxy计算引擎等。在利用上述流式大数据处理引擎进行数据指标计算时，可以划分多个计算模块分别统计所述数据指标，其中所述计算模块与所述数据指标具有一一对应的关系，即一个计算模块统计一个数据指标。在实际的业务场景中，需要统计的数据指标往往在不断地扩展，例如，已经统计了北京的交易量，发现还需要统计上海的交易量。针对上述情况，利用现有技术中的流式大数据处理引擎进行数据指标统计时，每增加一个数据指标就需要增加一个新的计算模块进行处理。但是，在大数据处理引擎中每增加一个计算模块，所述引擎的整体性能可能降低很多。并且，在流式大数据处理引擎中增加一个新的计算模块，需要编写代码后重新发布上线，开发周期长，任务稳定性较低。

因此，现有技术中亟需一种能够在大数据处理引擎中快速、灵活地新增数据统计指标的方式。

发明内容

本申请实施例的目的在于提供一种数据指标统计方法及装置，不仅可以节省计算引擎的利用资源，还可以提高在计算引擎中增加新数据指标的灵活性，降低在计算引擎中增加新数据指标的复杂度。

本申请实施例提供的一种数据指标统计方法及装置具体是这样实现的：

一种数据指标统计方法，所述方法包括：

获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型；

根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中，其中，所述计算模块可用于与所述计算类型相同的多个数据指标的统计。

一种数据指标统计装置，所述装置包括：

数据获取单元，用于获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型；

数据分配单元，用于根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中，其中，所述计算模块可用于与所述计算类型相同的多个数据指标的统计。

一种数据处理装置，所述装置包括：

至少一个计算模块，所述计算模块用于对具有相同数据计算类型的多个数据指标进行统计计算。

一种数据指标统计装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：

获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型；

根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中，其中，所述计算模块可用于与所述计算类型相同的多个数据指标的统计。

本申请提供的数据指标统计方法及装置，可以将具有相同计算类型的多个数据指标分配至同一个计算模块中进行统计计算。这样，对于计算引擎来说，在针对海量数据实时统计计算的过程中，当需要增加新的数据指标时，可以在不需要增加新的计算模块的情况下，将统计新的数据指标所使用的用户数据划分至对应的计算模块中。利用同一个计算模块实时统计多个具有相同计算类型的数据指标，不仅可以节省计算引擎的利用资源，还可以提高在计算引擎中增加新数据指标的灵活性，降低在计算引擎中增加新数据指标的复杂度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的数据指标统计方法的一种实施例的方法流程图；

图2是本申请提供的确定计算类型方法的一种实施例的方法流程图；

图3是本申请提供的分配用户数据方法的一种实施例的方法流程图；