[发明专利]一种大数据组件的自定义管理方法、装置、设备及介质

说明书

本发明实施例公开了一种大数据组件的自定义管理方法、装置、设备及介质。其中，所述方法包括：基于目标需求确定目标架构；建立目标栈，并基于所述目标架构对所述目标栈的栈定义文件进行编辑；基于所述栈定义文件对各所述大数据组件的管理信息进行编辑，得到各所述大数据组件的自定义管理信息；根据所述自定义管理信息开发与各所述大数据组件匹配的组件安装脚本，并基于各所述组件安装脚本对各所述大数据组件进行安装。通过执行本方案，可以实现灵活地选择大数据组件类型，可以实现自定义大数据组件的管理方法，可以实现快速地部署各大数据组件，进而可以满足不同类型的大数据业务需求。

技术领域

本发明实施例涉及大数据技术领域，尤其涉及一种大数据组件的自定义管理方法、装置、设备及介质。

背景技术

大数据应用离不开Hadoop，Hadoop在广义上指的是Hadoop整个生态圈(例如Hive，Hbase，Sqoop，Zookeeper等)，而并不仅是特指Hadoop。市场上可以管理大数据组件的有两个厂商，分别是Cloudera和Hortonworks，但是它们只支持Hadoop3生态系统的部分大数据组件，不能支持全部的大数据组件。例如Hortonworks只支持HDFS3.x，不支持Impala3和Hive3。并且Cloudera和Hortonworks只能使用自己的固定版本的安装包。

这种限制导致的问题有：基于特定版本的大数据组件实现的大数据功能有限，并不全面；基于部分大数据组件组成的大数据架构可以实现的业务需求种类也有限；基于以上两种厂商对大数据组件进行管理只能依赖于厂商的要求和规定，因而，不能灵活地实现对大数据组件的管理和对大数据的使用。

发明内容

本发明实施例提供一种大数据组件的自定义管理方法、装置、设备及介质，可以实现灵活地选择大数据组件类型，可以实现自定义大数据组件的管理方法，可以实现快速地部署各大数据组件，进而可以满足不同类型的大数据业务需求。

第一方面，本发明实施例提供了一种大数据组件的自定义管理方法，该方法包括：基于目标需求确定目标架构；其中，所述目标架构包括至少两个大数据组件以及各所述大数据组件的版本信息；

建立目标栈，并基于所述目标架构对所述目标栈的栈定义文件进行编辑；

基于所述栈定义文件对各所述大数据组件的管理信息进行编辑，得到各所述大数据组件的自定义管理信息；

根据所述自定义管理信息开发与各所述大数据组件匹配的组件安装脚本，并基于各所述组件安装脚本对各所述大数据组件进行安装。

第二方面，本发明实施例还提供了一种大数据组件的自定义管理装置，该装置包括：目标架构确定模块，用于基于目标需求确定目标架构；其中，所述目标架构包括至少两个大数据组件以及各所述大数据组件的版本信息；

栈定义文件编辑模块，用于建立目标栈，并基于所述目标架构对所述目标栈的栈定义文件进行编辑；

管理信息编辑模块，用于基于所述栈定义文件对各所述大数据组件的管理信息进行编辑，得到各所述大数据组件的自定义管理信息；

组件安装脚本开发模块，用于根据所述自定义管理信息开发与各所述大数据组件匹配的组件安装脚本，并基于各所述组件安装脚本对各所述大数据组件进行安装。

第三方面，本发明实施例还提供了一种电子设备，该设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一项所述的大数据组件的自定义管理方法。