[发明专利]一种基于Docker的数据处理平台

权利要求书

1.一种基于Docker的数据处理平台，其特征在于：以分布式计算框架为基础，整合开源的数据科学工具，包括模型应用单元、分析建模单元、算法库单元、计算框架单元、数据连接单元和系统管理单元，支持交互式编程和拖拽式实验，为用户提供模型训练、预测、评估和部署的全生命周期管理功能。

2.根据权利要求1所述的基于Docker的数据处理平台，其特征在于：所述模型应用单元包括模型发布模块，模型运行模块和模型管理模块；所述模型管理模块用于管理通过实验流程保存的模型，用户可以查看模型列表、下载或删除模型文件。

3.根据权利要求1所述的基于Docker的数据处理平台，其特征在于：所述分析建模单元包括可视化建模模块，向导式建模模块和交互式IDE模块，其中可视化建模模块包括拖拽式组件，流水线编排组件，参数自定义组件，数据透视组件，模型报告组件和项目管理组件；

支持可视化拖拽型机器学习模式，实验中的实验面板具备放大、缩小、原始尺寸、适应实验面板和全屏显示功能，实验面板中的组件可以随意用鼠标进行拖动，并且可以利用鼠标滚轮任意放大/缩小实验面板，选中实验面板中的实验组件并右键单击可以对执行结果进行查看。

4.根据权利要求3所述的基于Docker的数据处理平台，其特征在于：所述交互式IDE模块包括Python组件和PySpark组件，集成了Python环境和PySpark环境，Python组件为用户集成了Jupyter Notebook。

5.根据权利要求3所述的基于Docker的数据处理平台，其特征在于：所述向导式建模模块包括预置模型组件和自动学习组件，所述算法库单元包括数据预处理模块，机器学习模块，特征工程模块，文本挖掘模块，统计分析模块，深度学习模块，时间序列模块和网络分析模块；

支持用户进行数据读取、数据预处理、特征工程、训练模型以及测试评估模型操作；且用户建立起完整的流程后即可运行，等待运行结果，省去了代码的编写过程；训练结束后，模型文件保存至HDFS，用户可以在模型管理单元查看或下载已保存的模型文件。

6.根据权利要求1所述的基于Docker的数据处理平台，其特征在于：所述计算框架单元包括MapReduce模块，Spark模块，PyTorch模块和Tensorflow模块；所述数据连接单元包括关系数据库模块，NoSQL数据库模块，文件系统模块，大数据组件模块和云存储模块。

7.根据权利要求1所述的基于Docker的数据处理平台，其特征在于：所述系统管理单元包括项目管理模块，数据集管理模块，服务管理模块，用户管理模块和系统监控模块。

8.基于权利要求7所述的基于Docker的数据处理平台，其特征在于：

所述项目管理模块负责为用户提供新建、删除和修改功能，用户可以根据需求创建不同的项目，在项目内用户可以管理实验流程、数据集、模型、服务和Notebook资源；

所述数据集管理模块为用户提供添加与删除数据集，查看数据集字段及路径功能，用户可以为不同的项目添加不同的数据集，用于项目内实验流程的建立；

所述服务管理模块为用户提供部署服务的功能，用户只需对提供的预测代码进行少量修改，训练结束后，即可将训练的模型发布成服务；

所述用户管理模块为用户提供创建训练作业、通过筛选查看训练作业、停止和删除训练作业功能，并且在列表中不仅可以显示训练作业的名称，还会显示训练作业当前的状态、版本数量和运行时长信息；

所述系统监控模块负责提供对Notebook和上线服务所启动容器的监控功能，用户可以在监控里查看当前已打开的笔记本信息和已上线服务对应容器的状态，也可以在此关闭笔记本或容器。

9.根据权利要求1～8任意一项所述的基于Docker的数据处理平台，其特征在于：包括Docker客户端，Docker主机和注册表，所述Docker客户端用于构建、运行和停止应用程序，以及与Docker主机进行远程交互；所述Docker主机内运行Docker Daemon，负责创建、运行及监控容器，构建及存储镜像，接收并处理Docker客户端的请求，并根据请求类型，创建出指定的作业并运行。