[发明专利]基于百亿数据OLAP查询平台元数据模型及其实现方法

权利要求书

1.一种基于百亿数据OLAP查询平台元数据模型，其特征在于，包括：

依次设置的数据存储层、数据映射层、数据处理层、数据展示层；

所述数据存储层包括多种不同的存储介质，所述数据存储层用于存储各种业务数据；

所述数据映射层与所述数据存储层连接、所述数据映射层用于将数据存储层存储的各种业务数据进行关系映射形成一个程序对象，以通过元数据模版生成不同存储介质的实现类；

所述数据处理层与所述数据映射层连接，所述数据处理层用于基于数据映射层的关系映射，将数据存储层存储的各种业务数据通过对象进行反射，提取对象中的类属性和方法，同时将不需要的方法进行过滤，最终将对象的属性进行存储到Mysql数据库中；以实现将类通过反射机制获取类中属性和方法；

所述数据展示层用于将所述Mysql数据库的对象属性进行输出显示，并将数据表的数据模型供外部调用，以提供业务人员操作接口。

2.根据权利要求1所述基于百亿数据OLAP查询平台元数据模型，其特征在于，所述数据存储层包括：Hive数据表、Doris数据表、Mysql数据表；

所述Mysql数据表用于存储百万数据集的报表数据，所述Doris数据表用于存储上亿级别的模型数据，所述Hive数据表用于存储百亿级别的日志数据。

3.根据权利要求1所述基于百亿数据OLAP查询平台元数据模型，其特征在于，所述数据映射层包括：

元数据模版，以及与所述元数据模版分别连接的Hive表实现类、Doris表实现类、Mysql表实现类；

所述元数据模版设置有获取属性方法和库地址属性、表名称属性，用于通过元数据模版生成不同存储介质的实现类；

所述Hive表实现类、Doris表实现类、Mysql表实现类分别继承所述元数据模板获得获取属性方法和库地址属性、表名称属性，同时添加字段属性和存储属性方法。

4.根据权利要求1所述基于百亿数据OLAP查询平台元数据模型，其特征在于，所述数据处理层包括：依次连接的类反射处理单元、类属性和方法过滤单元、多态取属性值单元；

所述类反射处理单元用于通过类的反射机制获取实现类中的方法和属性；

所述类属性和方法过滤单元，用于通过属性和方法过滤获取平台内部使用对应关系；

所述多态取属性值单元，用于通过多态取出方法获取对外暴露的字段，平台外部使用对应关系。

5.根据权利要求1所述基于百亿数据OLAP查询平台元数据模型，其特征在于，所述数据展示层包括：元数据对外模型，以及与所述元数据对外模型分别连接的Hive模型、Doris模型、Mysql模型。

6.一种如权利要求1-5任一项所述基于百亿数据OLAP查询平台元数据模型实现方法，其特征在于，所述实现方法包括：

预先设置依次连接的数据存储层、数据映射层、数据处理层、数据展示层；设置数据存储层包括多种不同的存储介质，所述数据存储层用于存储各种业务数据；

根据各个部门的业务需求将各业务数据存储到数据存储层的不同存储介质中；

将数据存储层存储的各种业务数据进行关系映射形成一个程序对象，以通过元数据模版生成不同存储介质的实现类；

基于数据映射层的关系映射，将数据存储层存储的各种业务数据通过对象进行反射，提取对象中的类属性和方法，同时将不需要的方法进行过滤，最终将对象的属性进行存储到Mysql数据库中；

将所述Mysql数据库的对象属性进行输出显示，并将数据表的数据模型供外部调用，以提供业务人员操作接口。

7.根据权利要求6所述基于百亿数据OLAP查询平台元数据模型实现方法，其特征在于，所述根据各个部门的业务需求将各业务数据存储到数据存储层的不同存储介质中的步骤包括：

将百万数据集的报表数据存储在数据存储层的Mysql数据表中，将上亿级别的模型数据存储的数据存储层的Doris数据表中，将百亿级别的日志数据存储在数据存储层的Hive数据表中。