[发明专利]数据处理方法、装置和系统

说明书

本发明涉及一种数据处理方法、装置和系统。所述数据处理方法，应用于服务端，所述方法，包括：接收原始数据；遍历原始数据中的所有字段，获取至少一个统计维度；统计维度与所述字段对应；针对每个统计维度，根据所述统计维度以及关联规则确定对应的统计指标，其中，所述关联规则包括统计维度与统计指标的对应关系；根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，所述统计结果用于作为在接收到数据查询请求后查询数据的源数据，所述数据查询请求包括统计维度。根据本发明的实施例，可以不需要再进行逻辑运算，可以提高统计分析的效率，无需通过原始数据进行繁杂的计算，可提高资源利用率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置和系统。

背景技术

相关技术中，数据湖中汇集了来自各数据提供方的数据。然而，不同的用户关注的侧重点各不相同，因此，对数据的统计也有不同的需求。统计维度的灵活多变导致计算分析变得困难。特别是数据量比较大时，查询统计结果就需要耗费大量的资源，且数据处理的效率较低，不能满足用户对数据的实时性需求，严重影响用户的体验和满意度。

发明内容

本发明提供一种数据处理方法、装置和系统，以解决相关技术中的不足。

根据本发明实施例的第一方面，提供一种数据处理方法，应用于服务端，所述方法，包括：

接收原始数据；

遍历所述原始数据中的所有字段，获取至少一个统计维度；所述统计维度与所述字段对应；

针对每个所述统计维度，根据所述统计维度以及关联规则确定对应的统计指标，其中，所述关联规则包括统计维度与统计指标的对应关系；

根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，所述统计结果用于作为在接收到数据查询请求后查询数据的源数据，所述数据查询请求包括统计维度。

在一个实施例中，所述至少一个统计维度中部分统计维度之间存在关联关系；所述关联规则还包括所述部分统计维度之间的关联关系；所述部分统计维度包括高级统计维度与低级统计维度，所述低级统计维度隶属于所述高级统计维度；

所述根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，包括：

针对所述低级统计维度，根据所述低级统计维度与对应的统计指标进行数据统计，获取对应的低级统计结果；

根据所述低级统计结果与部分统计维度之间的关联关系，获取高级统计维度的高级统计结果；

对所述低级统计结果与所述高级统计结果进行折叠处理，以进行分级展示。

在一个实施例中，所述所有字段中包括时间字段；所述关联规则还包括时间粒度；

所述根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，包括：

根据所述统计维度、所述统计指标以及时间粒度进行数据统计，获取对应的统计结果。

在一个实施例中，所述时间粒度包括高级时间粒度与低级时间粒度；所述高级时间粒度大于所述低级时间粒度；所述关联规则还包括所述高级时间粒度与所述低级时间粒度的关系；

所述根据所述统计维度、所述统计指标以及时间粒度进行数据统计，获取对应的统计结果，包括：

根据所述统计维度、所述统计指标以及低级时间粒度进行数据统计，得到小粒度统计结果；

根据所述小粒度统计结果与所述高级时间粒度与所述低级时间粒度的关系获取所述高级时间粒度对应的大粒度统计结果。

在一个实施例中，所述的数据处理方法，还包括：

对所述统计结果进行分析，获取分析结果；