[发明专利]一种云接口聚合层统一管控API的方法

说明书

本发明公开了一种云接口聚合层统一管控API的方法，所述方法主要包括如下步骤：步骤一、构建数据开发模块；步骤二、构建数据处理；所述构建数据处理包括构建数据源、数据接入、数据处理、数据存储；步骤三、构建数据应用模块，所述构建数据应用模块包括构建数据服务模块和构建数据展现模块。

技术领域

本发明涉及一种云接口聚合层统一管控API的方法，属于大数据计算领域，具体涉及一种集成数据开发、测试、部署上线全链路的数据中台构建方法。

背景技术

云计算的快速发展以及标准化的推进，各云厂商为抢占市场势必会推送大量云产品，这些产品的底层研发有可能来自不同的团队，或者是基于第三方的产品。

各产品的研发，他们可能来自不同团队，有时候并不会有同样的规章约束，或由于一些客观原因，如赶进度、开发水平不齐、缺少代码审查等，以至于已经交付的产品代码，除非功能方面的原因才会进行代码更新迭代，如果是基于第三方产品，可控性更低。

这样难免存在接口风格各异、术语不统一、监控不完善或无、接口文档形式各异、没有SDK、地域与版本调度等。

云厂商的前端团队如果直接与各个产品进行对接，会带来大量问题，效率低下，代码臃肿繁琐难以维护。

发明内容

为了适应目前大多数企业对于Flink平台的部署使用，本发明提出一套完整的可用于企业级生产的数据处理链路即数据中台，包括数据开发、数据服务、数据展现；可以满足企业在多种复杂条件下的计算任务需求、对分析后的数据提供对外API及数据展现的需求。

一种云接口聚合层统一管控API的方法，其特征在于，所述方法主要包括如下步骤：

步骤一、构建数据开发模块；

步骤二、构建数据处理；所述构建数据处理包括构建数据源、数据接入、数据处理、数据存储；

步骤三、构建数据应用模块，所述构建数据应用模块包括构建数据服务模块和构建数据展现模块；

所述步骤一构建数据开发模块，包括Flink SQL开发模块、作业调度设计模块、作业运维监控模块；其中Flink SQL开发模块为用户提供Flink SQL开发界面，支持Flink SQL开发和调试；作业调度设计模块允许用户自定义多个作业之间的执行依赖和调度顺序；作业运维监控模块用于对作业的运行过程进行监控。

所述步骤二构建数据服务模块，包括自定义API生成模块、自定义API注册模块；其中自定义API生成模块用于根据用户的数据处理需求生成SQL查询接口以供用户直接使用；自定义API注册模块用于对生成的自定义API进行注册并根据用户权限为用户提供相应的注册服务。

所述步骤二构建数据展现模块，包括可视化报表展示模块、动态大屏展示模块；其中可视化报表展示模块用于对分析处理后的数据提供可视化报表展现的能力；动态大屏展示模块用于对分析处理后的数据提供实时动态大屏展示的能力。

Flink SQL开发模块基于Codemirror为用户提供开发界面，支持多用户对同一项目工程的开发和版本管理；用户可以将Flink作业以PerJob模式提交至kubernetes集群，并基于Filebeat获取Flink作业日志，便于用户在Flink SQL调试过程中提供实时和或历史的日志。

附图说明

附图1本申请实施例所述方法流程示意图。

有益效果

通过一个独立的接口聚合层管理配置并定义与底层产品接口的1对1、1对多映射关系，存在以下优点：