[发明专利]一种应用于金融业务的数据仓库更新方法、装置和电子设备

说明书

本发明提供了一种应用于金融业务的数据仓库更新方法、装置和电子设备。所述方法包括：获取来自数据库服务器或数据库服务器集群中的多个源数据表，其中，数据库服务器或数据库服务器集群为多个金融业务应用提供数据服务；根据多个金融业务应用涉及的业务主题对多个源数据表进行归并，生成以业务主题区分的多个归并数据表，同时记录归并过程信息；为各归并数据表提供索引，构建数据仓库；监控各源数据表的数据是否更新，当源数据表的数据更新时，根据归并过程信息更新归并数据表。本发明的更新方法能够快速准确地更新各数据，并且能够快速访问数据库表中的特定信息，使得支持大型表和索引更容易，同时也提高了数据管理和查询性能。

技术领域

本发明涉及计算机信息处理领域，具体而言，涉及一种应用于金融业务的数据仓库更新方法、装置和电子设备。

背景技术

随着电子商务的发展，例如互联网公司在日常运营中生成、累积的大量用户、商品、生产相关的数据呈现爆发式增长，数据结构也开始多元化，数据中含有的信息越来越多，公司对数据化运营也越来越关注。数据仓库用于对数据进行分处理工作，发挥着巨大的作用。然而，大数据时代的降临数据仓库慢慢转成分布式架构，以满足爆发式增长的计算以及存储的要求。

数据仓库(Data Warehouse，简写为DW或DWH)是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为源数据、数据仓库、数据应用。具体地，数据仓库中存储有各种各样的业务数据，不同的业务数据存储在不同的业务表中。

在相关技术中，通常根据业务系统做成ER图，现有的BI(商务智能)分析人员在做业务分析时，需要使用ER表，很不方便。另外，BI分析人员是直接使用数据源(大量数据表)支持数据挖掘或数据分析等的业务应用，数据粒度粗，由于对源数据没有进行整合分类，所以需要每个BI分析人员理解整个系统，理解不同业务之间的关系，而业务数据量很大，造成数据仓库管理人员的工作量大。因此，学习成本高。此外，计算大量数据比较浪费。

综上，在提高数据管理和查询性能方面仍存在很大改进空间。

发明内容

为了解决上述问题，本发明提供了一种应用于金融业务的数据仓库的更新方法，所述构建方法包括：获取来自数据库服务器或数据库服务器集群中的多个源数据表，其中，所述数据库服务器或数据库服务器集群为多个金融业务应用提供数据服务；根据所述多个金融业务应用涉及的业务主题对所述多个源数据表进行归并，生成以业务主题区分的多个归并数据表，同时记录所述归并过程信息；为所述各归并数据表提供索引，构建数据仓库；监控各源数据表的数据是否更新，当源数据表的数据更新时，根据所述归并过程信息更新所述归并数据表。

优选地，所述监控各源数据表的数据是否更新包括：定时读取源数据表所在数据库的更新日志，确定源数据表是否更新。

优选地，所述归并过程信息包括源数据表中的各项指标与归并数据表中的各项指标的指标对应关系。

优选地，根据所述归并过程信息更新所述归并数据表包括：根据所述更新日志和指标对应关系更新归并数据表。

优选地，所述业务主题包括事件、风控、交易、产品运营和推荐。

优选地，所述归并包括通过以用户点击ID、事件ID、交易ID或活动ID作为索引关联相应的数据，以形成与业务主题相对应的多个归并数据表，所述多个归并数据表为不同维度的归并数据表。

优选地，所述多个归并数据表通过转换规则相互转换。