[发明专利]一种基于mpack的国产大数据平台的自研软件集成方法

说明书

本发明公开了一种基于mpack的国产大数据平台的自研软件集成方法，包括以下步骤：S1、编译发布自研软件安装包，并迁移至国产大数据平台；S2、所述国产大数据平台依据yum安装形式将已迁移适配的自研软件与原有软件进行分类存放；S3、使用createrepo构建软件镜像仓库mpack，所述软件镜像仓库mpack包括国产大数据平台软件栈stack内原有软件以及自研软件的生命周期信息和元数据信息；S4、指定软件镜像仓库mpack与国产大数据平台软件栈stack的映射信息。本发明采用元数据管理的方式，构建了独立外置于已有软件栈的软件镜像仓库mpack，通过操作元数据信息，可以对平台已有软件栈之外的软件进行独立操作，能够在快速、解耦不影响线上服务的方式下集成、管理自研软件。

技术领域

本发明涉及大数据平台技术领域，具体为一种基于mpack的国产大数据平台的自研软件集成方法。

背景技术

国内大数据行业广泛使用的两大重磅级大数据平台产品CDH、HDP先后宣布付费订阅及闭源，许多国内大数据行业的相关企业面临着原先基于CDH、HDP搭建的大数据平台无法继续更新换代的问题，长此以往必然会导致技术上的落后，从而被时代所淘汰，并且随着国产化趋势进程，国家号召走技术独立自主，解决”卡脖子”技术，针对CDH、HDP两大大数据平台闭源的问题，无法兼容鲲鹏等国产架构芯片及欧拉国产操作系统，技术上无法独立自主，我们基于开源产品Ambari二次开发路线，研发了新的国产大数据平台，但如何集成及管理自研软件以及如何兼容适配各个国产架构、国产操作系统是一个亟待解决的问题。

对于集成自研软件的问题，目前以Ambari的原始方式集成自研软件主要有两种方案：

第一种是将自研软件直接部署到Ambari的软件栈，即可作为一个常规软件进行部署、管理。但这种方案下，会将自研软件捆绑到Ambari自身的软件栈，一旦涉及stack的软件升级，则其他非相关的软件都需要跟着迁移，并且迁移期间平台服务也会中断。

第二种方案则是在第一种方案的基础上，基于新的stack搭建一个新的集群，将原有数据逐步迁移到新版本的集群上，最后再完成切换。这种方案下可以让平台以不停机的平滑方式继续提供服务，但对负责迁移的人员及上下游的应用如何协调提出了很高的要求，且迁移时需要用到额外的服务器，造成企业额外的服务器成本。

另外对于国产化兼容适配的问题，随着国产化进程的持续推进，同一套软件需要同时部署在不同操作系统甚至不同硬件架构的服务器上。目前的解决方案仅有参照国产服务器厂商与操作系统厂商提供的迁移适配方案，专业人员根据官方提供的解决方案进行迁移适配。但国内无论是服务器还是操作系统，自身也处于一个快速迭代发展的过程，某些软件的迁移适配仍需要专业从业人员花费大量精力去完成，且不同环境下的迁移适配方案不一定通用，这通常是是普通软件使用人员无法解决的。这为企业在内部推进国产化适配的软件带来了很大的阻力，同时如何将迁移适配完的软件与已有的x86软件整合到一起统一部署管理也是一大挑战。

发明内容

本发明的目的在于提供了一种基于mpack的国产大数据平台的自研软件集成方法，以国产大数据平台为基础，采用元数据管理的方式，提出了一种软件独立外置于已有软件栈的方法，通过操作元数据信息，可以对平台已有软件栈之外的软件，独立执行添加、升级、移除操作，并根据服务器架构自动选择安装已适配的软件。

为实现上述目的，本发明提供如下技术方案：一种基于mpack的国产大数据平台的自研软件集成方法，所述自研软件集成方法包括以下步骤：

S1、编译发布自研软件安装包，并迁移至国产大数据平台；

S2、所述国产大数据平台依据yum安装形式将已迁移适配的自研软件与原有软件进行分类存放；

S3、使用createrepo构建软件镜像仓库mpack，所述软件镜像仓库mpack包括国产大数据平台软件栈stack内原有软件以及自研软件的生命周期信息和元数据信息；