[发明专利]数据表中数据处理方法和装置有效
申请号: | 201410778953.0 | 申请日: | 2014-12-15 |
公开(公告)号: | CN104408179B | 公开(公告)日: | 2018-11-06 |
发明(设计)人: | 廖小利 | 申请(专利权)人: | 北京国双科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 李志刚;吴贵明 |
地址: | 100086 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据表 数据处理 方法 装置 | ||
本发明公开了一种数据表中的数据处理方法和装置。该数据表中的数据处理方法包括确定多个预设指标表,其中,多个预设指标表均包括第一维度;确定第一维度表,其中,第一维度表为与第一维度对应的维度表;遍历多个预设指标表,分别对多个预设指标表中的每个预设指标表按照维度主键进行分组聚合,得到多个聚合后的指标表;将多个聚合后的指标表与第一维度表进行关联,得到关联数据表;对关联数据表进行分组聚合。通过本发明,解决了现有技术对由多个大数据量的指标表关联后得到的数据表中的数据处理效率低的问题。
技术领域
本发明涉及数据处理领域,具体而言,涉及一种数据表中的数据处理方法和装置。
背景技术
随着大数据时代的到来,应用系统需要处理的数据量越来越大,特别是多维度下的指标数据。指标表通常会外键关联维度表的主键,导致指标表的数据量往往很大。在针对多个维度表与多个大数据量的指标表同时进行数据处理时,现有技术主要是将多个大数据量的指标表根据维度主键进行联接,得到关联后的数据表,然后根据该关联后的数据表进行维度分组和指标聚合计算。但是,由于每个指标表的数据量很大,多个大数据量的指标表关联后得到的数据表的数据量就会更大,导致对关联后的数据表中的数据处理的效率降低。
针对现有技术对由多个大数据量的指标表关联后得到的数据表中的数据处理效率低的问题,目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种数据表中的数据处理方法和装置,以解决现有技术对由多个大数据量的指标表关联后得到的数据表中的数据处理效率低的问题。
为了实现上述目的,根据本发明的一个方面,提供了一种数据表中的数据处理方法。
该数据表中的数据处理方法包括:确定多个预设指标表,其中,多个预设指标表均包括第一维度;确定第一维度表,其中,第一维度表为与第一维度对应的维度表;遍历多个预设指标表,分别对多个预设指标表中的每个预设指标表按照维度主键进行分组聚合,得到多个聚合后的指标表;将多个聚合后的指标表与第一维度表进行关联,得到关联数据表;对关联数据表进行分组聚合。
进一步地,将多个聚合后的指标表与第一维度表进行关联,得到关联数据表包括:确定第一维度主键,其中,第一维度主键为多个聚合后的指标表共有的维度主键,第一维度主键为第一维度对应的键值;按照第一维度主键将多个聚合后的指标表与第一维度表进行关联,得到关联数据表。
进一步地,遍历多个预设指标表,分别对多个预设指标表中的每个预设指标表按照维度主键进行分组聚合,得到多个聚合后的指标表包括:遍历多个预设指标表;按照预设规则,分别将多个预设指标表中的预设指标表转化成第一维度对应的指标表,得到多个第一维度对应的指标表。
进一步地,对关联数据表进行分组聚合包括:获取关联数据表中维度的属性;按照关联数据表中维度的属性将关联数据表中的维度进行分组,得到分组后的关联数据表;确定分组后的关联数据表中的待聚合指标;遍历分组后的关联数据表中的待聚合指标,分别对分组后的关联数据表中的每个待聚合指标进行聚合运算,得到与待聚合指标对应的聚合结果。
进一步地,在遍历分组后的关联数据表中的待聚合指标,分别对分组后的关联数据表中的每个待聚合指标进行聚合运算,得到与待聚合指标对应的聚合结果之后,该数据表中的数据处理方法还包括:根据待聚合指标和与待聚合指标对应的聚合结果生成图表;输出图表。
为了实现上述目的,根据本发明的另一方面,提供了一种数据表中的数据处理装置。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京国双科技有限公司,未经北京国双科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410778953.0/2.html,转载请声明来源钻瓜专利网。