[发明专利]基于可伸缩集群的智能化大数据实训方法及系统

权利要求书

1.基于可伸缩集群的智能化大数据实训系统，其特征在于，包括管理模块、内容教学模块以及评测模块；

管理模块实现对脚本模板管理，大数据实训所依赖作为执行环境的Docker基础镜像的管理以及实训系统运行过程所有数据集的管理；

内容教学模块用于实训导师创建实训模型，同时实现实训学员与实训系统的交互；

评测模块用于实现实训系统的任务管理，容器生命周期管理，资源管理以及存储管理。

2.根据权利要求1所述的基于可伸缩集群的智能化大数据实训系统，其特征在于，

管理模块包括脚本模板管理模块，Docker Registry管理模块及数据仓库管理模块；

脚本模板管理模块为每一技术类型的实训提供对应脚本模板的网页端管理接口；

Docker Registry管理模块，用于管理大数据实训所依赖作为执行环境的Docker基础镜像，提供对镜像的新增、删除、版本迭代功能，以及Docker集群之间的镜像同步功能；同时，通过Docker的Cgroups机制对评测容器的资源进行限定，防止评测容器资源消耗过大，而导致物理节点宕机；

数据仓库管理模块，以版本库的形式管理系统运行过程中所有实训的代码及大数据实训相关的数据集，提供代码版本回溯以及数据集在线更新功能。

3.根据权利要求1所述的基于可伸缩集群的智能化大数据实训系统，其特征在于，

内容教学模块包括实训模板模块和学员实训模块；

实训模板模块，是实训导师创建的实训模型，为实训导师提供任务关卡管理，基础代码版本库管理，数据集管理，脚本管理和实训附加配置管理；

学员实训模块是实训学员与实训系统的交互模块，是实训学员基于实训模型创建的实例，在每一个学员实训开启时，实训系统会为实训学员fork一份实训模板模块的版本库作为基础代码库，同时根据实训配置为实训学员准备实训环境，实训学员依赖学员实训模块完成练习之后，提交测评，实训系统发送评测请求到评测模块。

4.根据权利要求1所述的基于可伸缩集群的智能化大数据实训系统，其特征在于，

评测模块，包括任务管理模块，容器生命周期管理模块，资源管理模块及存储管理模块；

任务管理模块，基于Kubernetes的调度策略将不同的评测请求，调度至不同的工作节点，启动相应的容器，运行定制的评测脚本，序列化执行评测过程；任务管理模块还提供高并发场景下的流量控制功能，保障系统的正常运转和响应速度；

容器生命周期管理模块，基于任务复杂度及任务历史评测数据，进行建模，计算分析工作容器下一次评测请求的可能到达时机，智能决策工作容器的销毁时机，保障容器资源的高效利用；

资源管理模块，实现对工作容器的资源管理，同时实现评测集群节点的动态扩展，当集群现有的系统资源不足以支撑当前的并发请求时，动态增加节点，反之，当集群的大量节点处于空闲状态时，动态减少节点；

存储管理模块，采用分布式文件系统NFS存储大数据实训相关的海量数据。

5.基于可伸缩集群的智能化大数据实训方法，其特征在于，包括：

步骤1、管理员通过管理模块根据大数据技术的需求准备大数据系列技术类型的Kubernetes Pod模板，Kubernetes Pod模板包括标签，使用的容器环境，资源限制，工作目录挂载路径以及服务暴露端口，Kubernetes Pod模板分为单技术类型和多技术类型，单技术类型准备该技术类型所需的基础环境，多技术类型采用Docker in Docker机制实现，准备Docker in Docker环境；

步骤2、实训导师根据教学需求通过内容教学模块中的实训模板模块创建大数据技术类型的实训，编写实训教学内容，设置实训任务，提供完成实训任务所需的基础代码，指定完成实训任务所需使用的虚拟环境，并编写实训测评脚本用于对学员的实验进行测评；

步骤3、学员通过内容教学模块中的学员实训模块挑战实训，学习实训教学内容，根据实训任务设置，逐关进行挑战，编写关卡代码，如实训任务需要进入容器进行配置操作，测评模块中的任务管理模块根据实训的配置，为学员创建对应Pod的实例，提供SSH连接环境，学员通过内容教学模块提供的WebSSH连接到Pod内部，进行配置操作，待环境配置和代码编写步骤均完成后，提交评测请求，如果不需要，编写完代码后直接提交评测请求；

步骤4、任务管理模块接收到学员评测请求，根据实训配置，定位对应学员的Pod实例，如果不存在，则根据配置进行创建；获取Pod实例之后，拉取用户代码，根据实训的评测脚本对用户代码和环境配置进行测评；

步骤5、返回测评结果，如测评不通过，重复步骤3-5，否则，延迟删除pod。