[发明专利]一种切合电力客服业务的数据仓库系统及其构建方法有效
申请号: | 201811513234.0 | 申请日: | 2018-12-11 |
公开(公告)号: | CN109669934B | 公开(公告)日: | 2023-08-01 |
发明(设计)人: | 张旭坤;蒋元晨;张弦;徐雨申 | 申请(专利权)人: | 江苏瑞中数据股份有限公司;南瑞集团有限公司 |
主分类号: | G06F16/215 | 分类号: | G06F16/215;G06F16/2458;G06F16/25;G06F16/28 |
代理公司: | 南京苏高专利商标事务所(普通合伙) 32204 | 代理人: | 颜盈静 |
地址: | 210012 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 切合 电力 客服 业务 数据仓库 系统 及其 构建 方法 | ||
1.一种切合电力客服业务的数据仓库系统,其特征在于:基于GBase 8a MPP Cluster数据库作为数据仓库底层组件,包括明细数据层、轻度汇总层、中度汇总层;
所述明细数据层,用于为数据仓库提供基础数据;所述基础数据为将业务数据进行清洗、归类、结构化和规范化得到的结构化数据,将结构化数据进行主题域划分,并保存在对应的主题域下;
所述轻度汇总层,用于存储标准关系模式的轻度汇总层数据,所述标准关系模式的轻度汇总层数据为按照业务应用要求对明细数据层的结构化数据进行整合和字段的标准化得到;
所述中度汇总层,用于将标准关系模式的轻度汇总层数据向适合数据仓库处理的星型模型或雪花型模型的数据格式进行转换;
其中,所述的将标准关系模式的轻度汇总层数据向适合数据仓库处理的星型模型或雪花型模型的数据格式进行转换,包括:
按照日期、地域、行业进行数据分解;
按照各主题分析使用要求,对不同操作型数据进行数据集成;
根据某一属性或某一维度,进行数据汇总;
对数据进行预算与推导,预算与推导结果作为数据仓库的字段进行存储;
对于来自不同数据源的数据进行翻译和格式化处理;
对于各种关联对象数据直交性地分片在各个节点上的场景,采用静态Hash的JOIN查询在两个大表之间进行JOIN查询,将标准关系模式的轻度汇总层数据与主数据关联生成宽表;
对于各种关联数据往往非直交性地分片在各个节点上的场景,采用动态Hash的JOIN查询,通过对数据进行最小限的动态Hash重分布,对不同属性分片的两个大表进行关联;
对于将大表与小表进行关联运算的场景,采用大小表间的JOIN查询对大小表进行关联;
对于对各种汇总、聚集结果的多维分析和维度关联分析场景,第一阶段,在各节点并行执行分组和聚合运算,将各节点的第一阶段中间结果在各节点间进行Hash重分布;第二阶段,在各节点并行对重分布后的中间结果进行分组和聚合运算。
2.根据权利要求1所述的一种切合电力客服业务的数据仓库系统,其特征在于:根据可适用场景数量不同将轻度汇总层、中度汇总层中的汇总数据区分别分为通用轻度汇总区、私有轻度汇总区、通用中度汇总区和私有中度汇总区;
在轻度汇总层中,通用轻度汇总区为可同时适用于多个场景同时使用的汇总数据区,私有轻度汇总区为用于单个特殊场景独立使用的汇总数据区;
在中度汇总层中,通用中度汇总区为可同时适用于多个场景同时使用的汇总数据区,私有中度汇总区为用于单个特殊场景独立使用的汇总数据区。
3.根据权利要求1所述的一种切合电力客服业务的数据仓库系统,其特征在于:轻度汇总层中的整合包括:通过多表关联运算,将分散到多个表的某一主题的属性整合到一张表中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江苏瑞中数据股份有限公司;南瑞集团有限公司,未经江苏瑞中数据股份有限公司;南瑞集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811513234.0/1.html,转载请声明来源钻瓜专利网。