[发明专利]一种多维度拆分的计算方法以及系统有效
申请号: | 201310381567.3 | 申请日: | 2013-08-28 |
公开(公告)号: | CN104424251B | 公开(公告)日: | 2019-03-15 |
发明(设计)人: | 蔡馥晗;李浩;武磊;曾伟纪 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 蒋雅洁;张颖玲 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 多维 拆分 计算方法 以及 系统 | ||
本发明公开一种多维度拆分的计算方法以及系统,涉及多维度拆分计算领域,可以对海量数据进行多维度拆分计算,从而降低计算复杂度。本发明实施例通过根据预处理后的海量预处理数据,生成递推拓扑,所述递推拓扑由维度组合以及各维度组合之间的递推路径构成,所述维度组合由各维度的属性名称以及与所述属性名称对应的所述海量预处理数据中的数据构成;根据预设固化策略,确定固化维度组合并确定构成最优固化维度组合的运算路径;根据所述递推拓扑,生成计算任务;根据所述固化维度组合以及所述最优固化维度组合的运算路径,启动计算任务,计算所述计算任务,获得计算结果。本发明实施例提供的方案适于进行多维拆分时采用。
技术领域
本发明涉及多维度拆分计算领域,尤其涉及一种多维度拆分的计算方法以及系统。
背景技术
现有技术中,多维度拆分系统通常基于关系型数据库存储数据,关系型数据库为由二维表及各个二维表之间的联系组成的一个数据组织。采用现有技术进行多维度拆分计算时,根据用户的数据请求,通过关系型数据库的多个二维表以及多个二维表之间的联系联合计算,从而获得符合用户数据请求的多维组合结果。
然而,采用现有技术进行多维度拆分计算时,由于基于关系型数据库的多个二维表进行多维度拆分计算,计算复杂度较高,并且处理数据量较小。
发明内容
本发明的实施例提供一种多维度拆分的计算方法以及系统,可以对海量数据进行多维度拆分计算,从而降低计算复杂度。
第一方面,本发明实施例提供一种多维度拆分的计算方法,包括:
根据预处理后的海量预处理数据,生成递推拓扑,所述递推拓扑由维度组合以及各维度组合之间的递推路径构成,所述维度组合由各维度的属性名称以及与所述属性名称对应的所述海量预处理数据中的数据构成;
根据预设固化策略,确定固化维度组合并确定构成最优固化维度组合的运算路径;
根据所述递推拓扑,生成计算任务;
根据所述固化维度组合以及所述最优固化维度组合的运算路径,启动计算任务,计算所述计算任务,获得计算结果。
第二方面,本发明实施例提供一种多维度拆分的计算系统,包括:运算决策模块,运算控制模块,维度组合生成模块;
所述运算决策模块,用于根据预处理后的海量预处理数据,生成递推拓扑,所述递推拓扑由维度组合以及各维度组合之间的递推路径构成,所述维度组合由各维度的属性名称以及与所述属性名称对应的所述海量预处理数据中的数据构成;
所述运算决策模块,还用于根据预设固化策略,确定固化维度组合并确定构成最优固化维度组合的运算路径;
运算控制模块,用于根据所述递推拓扑,生成计算任务;
所述运算控制模块,还用于根据所述固化维度组合以及所述最优固化维度组合的运算路径,启动计算任务;
维度组合生成模块,用于计算所述计算任务,获得计算结果。
本发明实施例提供一种多维度拆分的计算方法以及系统,通过根据预处理后的海量预处理数据,生成递推拓扑;根据预设固化策略,确定固化维度组合并确定构成最优固化维度组合的运算路径;根据所述递推拓扑,生成计算任务;根据所述固化维度组合以及所述最优固化维度组合的运算路径,启动计算任务,计算所述计算任务,获得计算结果。与采用现有技术进行多维度拆分计算时,由于基于关系型数据库的多个二维表进行多维度拆分计算,计算复杂度较高,并且处理数据量较小相比,本发明实施例通过根据固化维度组合以及最优固化维度组合的运算路径计算所述计算任务,使得可以对海量数据进行多维度拆分计算,从而降低计算复杂度。
附图说明
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310381567.3/2.html,转载请声明来源钻瓜专利网。
- 上一篇:数据统计方法和装置
- 下一篇:一种基于微博的业务数据的发布方法、装置和系统