[发明专利]一种基于数据湖的数据中台API自动生成系统

说明书

本发明提供了一种基于数据湖的数据中台API自动生成系统，包括数据采集模块、数据编目模块、API自动配置模块、API自动生成模块、API自动部署模块；本发明可以数据资源目录的不同主题数据，自适应调整主题数据服务API接口，自动生成服务API接口，该方法以一种高效简单的方式实现服务API接口的自动生成，可实现数据层与应用层的解耦并高效的生成API接口并自动部署，为项目实际建设者提供有效的原子能力。

技术领域

本发明涉及一种基于数据湖的数据中台API自动生成系统。

背景技术

现阶段数据湖主要解决大量的结构化数据和非结构化数据的入湖以及入湖后的数据治理。数据中台是一种介于后台和前台的中间层，围绕向上层应用提供数据服务构建的，数据中台让数据在数据平台和业务系统之间形成了一个良性的闭环，也就是实现应用与数据之间的解耦，并实现紧密交互。数据中台建立后，会形成数据服务API，为企业和客户提供高效各种数据服务。现有技术的缺点主要包括以下两个方面：

1、现有数据湖的解决方案针对上层应用存在极大的耦合，对于不同的应用可能需要重复开发API接口；

2、针对上层应用的大量API接口，需要耗费大量的人力进行维护。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于数据湖的数据中台架构，采用自动编目的方式对数据资源进行编目后，通过自动配置模块生成自动配置文件，然后通过自动生成API服务模块生成API接口，最后通过自动部署模块部署生成的API接口程序，该方法能有效的提高数据编目的效率、服务API的开发效率、维护成本，可复用性。

本发明具体提供一种基于数据湖的数据中台API自动生成系统，包括数据采集模块、数据编目模块、API自动配置模块、API自动生成模块、API自动部署模块；

所述数据采集模块用于将结构化和半结构化的数据采集入湖，并存储在数据湖原始数据区；

所述数据采集模块将采集后存放在原始数据区的数据进行异常值剔除、聚合等加工后存入生产数据区，生产数据区中的数据包括基本信息、动态信息和统计信息；

所述数据编目模块用于对数据湖中生产数据区中能够提供对外服务的数据进行编目，编目中包括中文资源名称、英文资源名称、信息资源摘要，数据资源编目后形成数据资源元数据；

所述API自动配置模块读取数据编目模块所自动生成的配置模块并选取可能的入参和出参，自动生成请求参数和响应参数配置文件；

所述API自动生成模块根据API自动配置模块生成API服务接口；

所述API自动部署模块采用基于Git和Openshift的自动部署方法，在API自动配置模块所生成的请求参数和响应参数配置文件被监听发生变化后自动推送到GIT服务器上，Git服务器监听到新文件后通过webhook自动触发Openshift拉取git上的源文件并自动编译后打包并部署到一个Docker容器中，完成API接口的自动化部署过程。

所述数据资源元数据格式如下：

所述数据资源元数据包括基本信息和信息项；

其中，基本信息包括一系列单属性，包含resourceId、chineseName、englishName、sourceSystem、publishTime和shareType，resourceId是指资源目录的唯一编码，chineseName是指资源的中文名称，englishName是指资源的英文名称，sourceSystem是指数据资源的来源系统，vendor是指资源的提供方，publishTime是指资源发布时间，shareType是指共享方式；