[发明专利]数据分析的方法和装置

说明书

本发明公开了一种数据分析的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：分析输入的基础表单得到数据源配置信息；基于所述数据源配置信息对相应的数据源进行授权；将通过授权的所述数据源存储至数据仓库，以使所述数据仓库自动完成数据的抽取‑转换‑加载过程。该实施方式降低了用户的使用门槛；同时，自动化授权、自动完成数据的抽取‑转换‑加载过程等自动化逻辑的实现，提升了数据入库的效率和数据的质量。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据分析的方法和装置。

背景技术

数据仓库，是在企业所有级别的决策制定过程中，为企业提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建，为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。在数据仓库中，存储着大量的业务数据，包括用户数据、商家数据、商品数据、购买行为数据等等。随着大数据时代的到来，不仅每天生产的数据量在以太字节(TB)甚至拍字节(PB)的级别增长，数据内容也是越加丰富，从传统的关系型数据库，到新型非关系型数据库的产生，数据类型日新月异，如何能够快速将复杂多样，且数据量巨大的源数据快速抽入数据仓库，快速的完成数据的抽取-转换-加载过程(ETL)，就成了十分重要而紧急的问题。

现有的数据入库是人工完成的，主要包括以下步骤：

1.线上数据源授权：比如关系型数据库管理系统(mysql)，需联系数据库管理员(DBA)，完成线下授权；

2.在数据仓库的基础数据层创建对应的数据仓库工具(hive)表；

3.创建调度任务，配置抽取源数据、目标表、任务运行时间等。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有技术虽然可以通过调度任务完成自动抽取，但是前期工作复杂，耗时较长，对用户的专业水平要求较高；同时，大部分的抽数任务都是通过人工的方式来解决的，极大的降低了工作效率；此外，线下授权沟通时间长，整个流程耗时较长，影响数据的时效性。

发明内容

有鉴于此，本发明实施例提供一种数据分析的方法和装置，能够解决现有的数据入库方法前期工作复杂、耗时较长、对用户专业水平要求较高的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据分析的方法。

本发明实施例的一种数据分析的方法包括分析输入的基础表单得到数据源配置信息；基于所述数据源配置信息对相应的数据源进行授权；将通过授权的所述数据源存储至数据仓库，以使所述数据仓库自动完成数据的抽取-转换-加载过程。

可选地，基于所述数据源配置信息对相应的数据源进行授权包括：将所述数据源配置信息发送至与数据源对应的授权接口，得到数据源信息；根据所述数据源信息搜索所述数据仓库以确定是否存在相应的数据源；若存在所述数据源，则在所述数据仓库中绑定所述数据源；若不存在所述数据源，则在所述数据仓库中创建数据源。

可选地，得到数据源信息包括：当所述数据源为关系型数据库，根据所述数据源配置信息得到所述数据源的从数据库的所述数据源信息。

可选地，将通过授权的所述数据源存储至数据仓库包括：根据所述数据源配置信息创建相应的字段表；根据所述字段表将所述数据源存储至数据仓库。

可选地，根据所述字段表将所述数据源存储至数据仓库包括：根据所述字段表在所述数据仓库中创建相应的数据仓库工具表和调度任务，其中，所述数据仓库工具表包括抽取数据表和加工数据表，所述调度任务包括数据抽取任务、数据加工任务和数据同步任务。

可选地，所述方法还包括：设定调度任务的依赖关系以及周期，所述依赖关系为数据同步任务依赖于数据加工任务，以及数据加工任务依赖于数据抽取任务。