[发明专利]一种自动扩展的自助分析报表的方法及装置有效
申请号: | 201810961858.2 | 申请日: | 2018-08-22 |
公开(公告)号: | CN109063178B | 公开(公告)日: | 2019-12-24 |
发明(设计)人: | 李开宇;李秀生;毛航;陈思成;王月超 | 申请(专利权)人: | 四川新网银行股份有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/23;G06F16/907 |
代理公司: | 51282 成都智言知识产权代理有限公司 | 代理人: | 李龙 |
地址: | 610041 四川省成都市中国(四川)自由*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 关联关系 字段 匹配 自动扩展 预处理 预设时间段 遍历扫描 工程开发 基础数据 数据存储 数据展示 数据处理 分析 表结构 覆盖面 灵活度 记录 新表 解析 复制 开发 | ||
1.一种自动扩展的自助分析报表的方法,应用于自动扩展的自助分析报表的装置,其特征在于,所述自动扩展的自助分析报表的方法包括以下步骤:
将所述自动扩展的自助分析报表的装置中的元数据表按照预设时间段复制到所述自动扩展的自助分析报表的装置中的数仓中;
对所述数仓中的元数据表进行预处理后,得到描述和标准都一致的基础数据,并形成新表进行存储;
遍历扫描所述数仓中的每个表,对其表结构进行解析后存储字段基本信息;
依次两两对比各表之间的相同字段,判断两表之间是否存在匹配字段;
如果两表之间存在匹配字段,建立并记录所述两表的关联关系数据,否则不记录;
如果两表之间不存在匹配字段且存在关联关系,人工添加所述两表的关联关系数据,并将所述关联关系数据存储到数仓中。
2.根据权利要求1所述的自动扩展的自助分析报表的方法,其特征在于,所述依次两两对比各表之间的相同字段,判断两表之间是否存在匹配字段的步骤具体包括:
当存在两表的字段名称完全相等时,判断所述两表之间存在匹配字段;
将每个表通过同一个映射表将字段名称进行转化,当转化后的字段名称完全相等时,判断所述两表之间存在匹配字段。
3.根据权利要求1所述的自动扩展的自助分析报表的方法,其特征在于,所述对所述数仓中的元数据表进行预处理的步骤包括:
将多处存在的元数据表统一口径;
将多种描述形式的元数据表进行统一的格式处理或编码转化;
对异常数据进行过滤清洗,所述异常数据包括空值和不符合规范的数据。
4.根据权利要求1所述的自动扩展的自助分析报表的方法,其特征在于,所述将所述自动扩展的自助分析报表的装置中的元数据表按照预设时间段复制到所述自动扩展的自助分析报表的装置中的数仓中的步骤具体包括:
确认待备份元数据表的基本信息,所述基本信息包括所在库、表名、表结构、字段类型、备份方式和存储生命周期;
根据所述基本信息在所述数仓中建立与所述待备份元数据表同样的表;
按照预设时间段执行编写的结构化查询语言。
5.根据权利要求1所述的自动扩展的自助分析报表的方法,其特征在于,所述自动扩展的自助分析报表的方法还包括:
获取用户在搜索区输入的查找指标信息,并在所述数仓中进行对应搜索,将搜索结果进行展示;
接收用户选择的指标信息,并进行指标信息的组合后得到选择指标集合;
在生成报表指令的触发下,根据所述选择指标集合自动组装结构化查询语言,完成报表的查询和数据展示。
6.一种自动扩展的自助分析报表的装置,其特征在于,所述自动扩展的自助分析报表的装置包括:数据采集模块、预处理模块、解析模块、判断模块、记录模块和添加模块,其中:
所述数据采集模块,用于将所述自动扩展的自助分析报表的装置中的元数据表按照预设时间段复制到所述自动扩展的自助分析报表的装置中的数仓中;
所述预处理模块,用于对所述数仓中的元数据表进行预处理后,得到描述和标准都一致的基础数据,并形成新表进行存储;
所述解析模块,用于遍历扫描所述数仓中的每个表,对其表结构进行解析后存储字段基本信息;
所述判断模块,用于依次两两对比各表之间的相同字段,判断两表之间是否存在匹配字段;
所述记录模块,用于在两表之间存在匹配字段,建立并记录所述两表的关联关系数据,否则不记录;
所述添加模块,用于在两表之间不存在匹配字段且存在关联关系,人工添加所述两表的关联关系数据,并将所述关联关系数据存储到数仓中。
7.根据权利要求6所述的自动扩展的自助分析报表的装置,其特征在于,
所述判断模块,具体用于当存在两表的字段名称完全相等时,判断所述两表之间存在匹配字段;以及
将每个表通过同一个映射表将字段名称进行转化,当转化后的字段名称完全相等时,判断所述两表之间存在匹配字段。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于四川新网银行股份有限公司,未经四川新网银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810961858.2/1.html,转载请声明来源钻瓜专利网。