[发明专利]一种数据仓库的数据处理方法、电子设备及介质在审
申请号: | 201811652720.0 | 申请日: | 2018-12-28 |
公开(公告)号: | CN111382155A | 公开(公告)日: | 2020-07-07 |
发明(设计)人: | 纪术旺 | 申请(专利权)人: | 上海连尚网络科技有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/25;G06F16/28 |
代理公司: | 北京晋德允升知识产权代理有限公司 11623 | 代理人: | 万铁占;张小丽 |
地址: | 200120 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据仓库 数据处理 方法 电子设备 介质 | ||
根据业务领域将来自业务系统的源数据进行抽取转换生成整合数据表,将整合数据表根据业务领域主题对应地进行存储,业务领域为根据业务系统开展的业务归纳出的领域,业务领域主题为根据业务领域归纳出的主题;根据应用场景对整合数据表中的数据进行抽取转换生成轻度汇总数据表,将轻度汇总数据表根据应用主题对应地进行存储,应用场景为在业务领域中进行数据分析的应用场景,应用主题为根据所述应用场景归纳出的主题,这样的处理方式将业务领域的特征和数据应用的特征相结合,提高整理出的数据集与数据分析需求的匹配性,使得获得的数据集在数据仓库中具有很好的通用性,避免了重复建设导致的资源浪费问题。
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据仓库的数据处理方法、电子设备及介质。
背景技术
随着公司业务的扩张,数字化、智能化运营的逐步深入,日常运营中产生的数据呈现爆发式增长,并且产生的数据结构多元化,数据包含的信息复杂化,简单的数据存储以无法满足公司运行的需求了。而数据仓库由于能够对这些数据进行整理归纳和重组,及时提供给决策人员用于对业务的运营进行调整,因此能够在公司的运行中发挥巨大的作用,充分满足运行需求。
但是,目前的数据仓库在对数据进行整理归纳和重组时通常是分别针对不同业务系统的数据分别进行整合,汇总后再根据数据分析的需求进行归纳,这样的处理方式整理出的数据集与数据分析的需求匹配性低,进而导致数据集通用性差,数据处理归纳过程存在大量重复建设,资源浪费严重。
本申请提供了一种数据仓库的建立方法、电子设备及介质,用以提高整理出的数据集与数据分析需求的匹配性,避免了数据处理过程中重复建设导致资源浪费的问题。
本申请实施例采用下述技术方案:
本申请实施例提供一种数据仓库的建立方法,其特征在于,包括:
根据业务领域将来自业务系统的源数据进行抽取转换生成整合数据表,将整合数据表根据业务领域主题对应地进行存储,
业务领域为根据业务系统所开展的业务归纳出的领域,业务领域主题为根据业务领域归纳出的主题;
根据应用场景对整合数据表中的数据进行抽取转换生成轻度汇总数据表,将轻度汇总数据表根据应用主题对应地进行存储,
应用场景为在业务领域中进行数据分析的应用场景,应用主题为根据应用场景归纳出的主题。
优选地,根据业务领域将来自业务系统的源数据进行抽取转换生成整合数据表包括:
根据业务领域从业务系统所开展的业务中归纳出业务概念信息以及业务应用场景信息;
根据业务概念信息和业务应用场景信息将自业务系统的源数据进行抽取转换生成整合数据表。
优选地,业务概念信息包括用业务系统的业务术语描述的概念、概念之间的关系以及概念实体的属性中的一种或多种,
业务应用场景信息为根据业务系统中进行数据分析挖掘的应用场景生成的应用场景信息。
优选地,根据业务领域将来自业务系统的源数据进行抽取转换生成整合数据表还包括:
根据业务领域从从源数据中归纳出业务数据信息,业务数据信息包括源数据中数据实体之间的关系、数据实体包含的数据内容以及数据内容的特点中的一种或多种;
根据业务概念信息、业务应用场景信息以及业务数据信息将自业务系统的源数据进行抽取转换生成整合数据表。
优选地,根据业务领域将来自业务系统的源数据进行抽取转换生成整合数据表还包括:
根据业务领域从建立业务应用场景信息与业务数据信息之间的映射;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海连尚网络科技有限公司,未经上海连尚网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811652720.0/2.html,转载请声明来源钻瓜专利网。