[发明专利]数据报表生成方法、装置、计算机设备及存储介质

说明书

本申请实施例属于大数据分析领域，应用于数据报表生成领域中，涉及一种数据报表生成方法、装置、计算机设备及存储介质，其中方法包括采集初始数据，存储至关系型数据库；基于Dr u i d数据连接池将所述初始数据发送至H i ve数据仓库；对初始数据进行离线ETL处理，展示至分析界面；获取用户分析需求，生成HQL执行语句；执行分析计划，获取数据分析结果；将数据分析结果展示至数据分析界面，采用Dr u i d连接池连接关系型数据库和H i ve数据仓库，将初始数据保存在关系型数据库，分析时，对H i ve数据仓库内数据进行处理，实现数据复用，同时使用Dr u i d连接池提高数据传输速度，保证了时效性。

技术领域

本申请涉及大数据和数据分析技术领域，尤其涉及一种数据报表生成方法、装置、计算机设备及存储介质。

背景技术

随着互联网发展，业务数据成爆发式增长，如何实现数据价值的最大化是很多我们需要思考的问题，对数据进行统计分析，从而生成数据报表，可以挖掘到蕴藏于数据中的价值。

目前业内对数据分析普遍存在以下问题：使用烟囱式开发对数据进行报表开发，每来一个数据分析需求，就逐一开发生成报表，无法实现数据复用，且浪费了大量的人力和资源，时效性也非常差，灵活度也很低；因此，引入一些开源的组件，如PRESTO，其虽然解决了人力和资源浪费的问题，但是，当数据量达到一定量时，在由数据生成报表时渲染的非常慢，时效性得不到保证，且无法实现数据复用。

发明内容

本申请实施例的目的在于提出一种数据报表生成方法、装置、计算机设备及存储介质，以便于实现数据复用和提高数据分析的时效性。

为了解决上述技术问题，本申请实施例提供一种数据报表生成方法，采用了如下所述的技术方案：

一种数据报表生成方法，包括下述步骤：

采集待进行分析实时数据及离线数据，作为初始数据，并将其存储至预设关系型数据库；

基于Druid数据连接池从所述关系型数据库中获取所述初始数据，并发送至Hive数据仓库；

基于所述Hive数据仓库对所述初始数据进行离线ETL处理，展示至预设数据分析界面；

获取用户在所述数据分析界面通过点击事件选择的数据分析维度、数据展示指标、数据筛选条件和指标关联算法；

基于所述数据分析维度、数据展示指标、数据筛选条件和指标关联算法，生成HQL执行语句；

将所述HQL执行语句转换为数据分析计划存储在基于Hadoop集群的HDFS文件系统中，执行所述数据分析计划，获取数据分析报表；

将所述数据分析报表展示至所述数据分析界面内预设区域。

进一步的，所述基于Druid数据连接池从所述关系型数据库中获取所述初始数据，并发送至Hive数据仓库的步骤，具体包括：

基于Druid数据连接池从所述关系型数据库中获取所述初始数据，并从预设配置文件中获取所述初始数据的元数据，将所述初始数据和所述元数据一并发送至Hive数据仓库，

其中，所述元数据用于指示所述初始数据在所述关系型数据库中的存储位置，包括初始数据对应表格的表名、所述表格中的列名、所述表格中的分区信息。

进一步的，所述基于所述Hive数据仓库对所述初始数据进行离线ETL处理的步骤，具体包括：

将所述初始数据加载至基于Hadoop集群的HDFS文件系统内的预设目录下；

在加载完毕后，获取所述初始数据的元数据所对应目录信息，并将所述目录信息发送到所述关系型数据库中进行存储。