[发明专利]基于百亿数据OLAP查询平台元数据模型及其实现方法

说明书

本发明公开了基于百亿数据OLAP查询平台元数据模型及其实现方法，方法包括：预先设置依次连接的数据存储层、数据映射层、数据处理层、数据展示层；将各业务数据存储到数据存储层的不同存储介质中；将数据存储层存储的各种业务数据进行关系映射形成一个程序对象；基于数据映射层的关系映射，将数据存储层存储的各种业务数据通过对象进行反射，提取对象中的类属性和方法，并进行过滤最终将对象的属性进行存储到Mysq l数据库；将Mysq l数据库的对象属性进行输出显示，并将数据模型供外部调用。本发明实现了一套元数据模型，用户只需通过元数据服务进行查询数据，不需知道底层的数据存储，提高了数据存储处理效率，为用户使用提供了方便。

技术领域

本发明涉及数据存储处理技术领域，尤其涉及一种基于百亿数据OLAP查询平台元数据模型及其实现方法。

背景技术

随着科技的发展和信息化水平的不断提高，现在很多企业都用信息化处理平台，例如OLAPP平台。

OLAP一般指联机分析处理，很多公司基本都会有着OLAP平台，但大部分OLAP都是基于一种或者多种存储介质实现，同时都是直接连接查询，没有中间转换层。导致不同部门不同业务，需要在提取数据的时候需要指定存储介质，同时指定库表进行查询。无法通过元数据模型进行映射，导致数据查询处理效率不高，不方便用户使用。

因此，现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于百亿数据OLAP查询平台元数据模型及其实现方法、服务器及存储介质，本发明实现了一套元数据模型，用户只需要通过元数据服务进行查询数据，不需要知道底层的数据存储，提高了数据存储处理效率，为用户使用提供了方便。

为了解决上述技术问题，本发明第一方面提供一种基于百亿数据OLAP查询平台元数据模型实现方法，上述方法包括：

一种基于百亿数据OLAP查询平台元数据模型，其中，包括：

依次设置的数据存储层、数据映射层、数据处理层、数据展示层；

所述数据存储层包括多种不同的存储介质，所述数据存储层用于存储各种业务数据；

所述数据映射层与所述数据存储层连接、所述数据映射层用于将数据存储层存储的各种业务数据进行关系映射形成一个程序对象，以通过元数据模版生成不同存储介质的实现类；

所述数据处理层与所述数据映射层连接，所述数据处理层用于基于数据映射层的关系映射，将数据存储层存储的各种业务数据通过对象进行反射，提取对象中的类属性和方法，同时将不需要的方法进行过滤，最终将对象的属性进行存储到Mysql数据库中；以实现将类通过反射机制获取类中属性和方法；

所述数据展示层用于将所述Mysql数据库的对象属性进行输出显示，并将数据表的数据模型供外部调用，以提供业务人员操作接口。

所述基于百亿数据OLAP查询平台元数据模型，其中，所述数据存储层包括：Hive数据表、Doris数据表、Mysql数据表；

所述Mysql数据表用于存储百万数据集的报表数据，所述Doris数据表用于存储上亿级别的模型数据，所述Hive数据表用于存储百亿级别的日志数据。

所述基于百亿数据OLAP查询平台元数据模型，其特征在于，所述数据映射层包括：

元数据模版，以及与所述元数据模版分别连接的Hive表实现类、Doris表实现类、Mysql表实现类；

所述元数据模版设置有获取属性方法和库地址属性、表名称属性，用于通过元数据模版生成不同存储介质的实现类；