[发明专利]多租户数据持久化方法、装置、存储介质和计算机设备

说明书

本申请提供一种多租户数据持久化方法、多租户数据持久化装置及计算机可读存储介质和计算机设备。多租户数据持久化方法用于Zeppelin平台，Zeppelin平台部署于K8S集群的宿主机中。该方法包括：在K8S集群的每个计算节点中进行S3存储桶的挂载；在租户使用Zeppelin平台时，在与租户对应的计算节点中为租户创建单独的用户目录，其中，对应于同一计算节点的多个租户的用户目录位于计算节点挂载的S3存储桶中，且同一S3存储桶中不同的租户的用户目录之间相互隔离。本申请实施方式的多租户数据持久化方法、多租户数据持久化装置及计算机可读存储介质和计算机设备可以实现租户相关操作的数据持久化的存储和记录，且不同租户的数据之间不会相互影响。

技术领域

本申请涉及计算机技术领域，具体而言，本申请涉及一种多租户数据持久化方法、多租户数据持久化装置、计算机可读存储介质和计算机设备。

背景技术

大多数互联网企业都提供有类似Notebook类的产品，该类产品采用交互式的方式进行数据分析、数据建模及数据可视化。Zeppelin Notebook就是其中一个广泛使用的大数据分析、建模及可视化的产品。

基于Zeppelin可以定制构建一个多租户的部署在K8S中、打通了大数据平台的notebook应用。然而，部署在K8S中的服务默认没有数据持久化功能，Zeppelin容器异常退出或者服务停止时，用户编写的notebook代码及上传的数据就会面临丢失的风险。

目前有几种方式可以解决该类问题。例如，可以基于本地磁盘挂载的方式实现数据持久化，然而，这种方式需要程序化解决多用户数据卷创建和挂载的问题，并且还存在多租户场景下挂载同一数据卷目录产生多人编辑同一份数据造成代码及数据混乱的问题，此外，仅仅是挂载宿主机磁盘目录，会存在容器重启停止后调度到不同的宿主机导致挂载的文件不一致问题。再例如，还可以采用在集群中所有计算节点手动去挂载分布式文件系统，然而，这种方式下所有计算节点都需要手动在宿主机上安装挂载软件、设置配置文件，还需要应对机器重启、集群扩容等运维问题。

发明内容

为至少能解决上述的技术缺陷之一，本申请提供了以下技术方案的多租户数据持久化方法、多租户数据持久化装置、计算机可读存储介质和计算机设备。

本申请实施方式提供了一种多租户数据持久化方法，用于Zeppelin平台，所述Zeppelin平台部署于K8S集群的宿主机中。多租户数据持久化方法包括：在所述K8S集群的每个计算节点中进行S3存储桶的挂载；在所述租户使用所述Zeppelin平台时，在与所述租户对应的所述计算节点中为所述租户创建单独的用户目录，其中，对应于同一所述计算节点的多个所述租户的用户目录位于所述计算节点挂载的所述S3存储桶中，且同一所述S3存储桶中不同的所述租户的用户目录之间相互隔离。

在某些实施方式中，所述在所述K8S集群的每个计算节点中进行S3存储桶的挂载，包括：镜像制作与所述S3存储桶的挂载相关的软件；由所述K8S集群中的DaemonSet基于镜像制作的所述相关的软件，将所述S3存储桶挂载到每个所述计算节点中。

在某些实施方式中，与所述S3存储桶的挂载相关的软件包括启动脚本及dockerfile。

在某些实施方式中，所述由所述K8S集群中的DaemonSet基于镜像制作的所述相关的软件，将所述S3存储桶挂载到每个所述计算节点中，包括：创建ConfigMap对象，所述ConfigMap对象包含挂载所述S3存储桶的基础配置信息；创建DaemonSet对象，所述DaemonSet对象基于所述启动脚本、所述dockerfile及所述ConfigMap对象将所述S3存储桶挂载到每个所述计算节点的目标目录中。

在某些实施方式中，所述在所述租户使用所述Zeppelin平台时，在与所述租户对应的所述计算节点中为所述租户创建单独的用户目录，包括：在任一所述租户使用所述Zeppelin平台时，判断所述租户是否要进行数据保存；若是，则在与所述租户对应的所述计算节点中为所述租户创建单独的用户目录。