[发明专利]一种基于Docker的数据处理平台

说明书

本发明特别涉及一种基于Docker的数据处理平台。该基于Docker的数据处理平台，以分布式计算框架为基础，整合开源的数据科学工具，包括模型应用单元、分析建模单元、算法库单元、计算框架单元、数据连接单元和系统管理单元，支持交互式编程和拖拽式实验，为用户提供模型训练、预测、评估和部署的全生命周期管理功能。该基于Docker的数据处理平台，提供了一种包括交互式编程、拖拽式实验和模型服务部署的一站式机器学习平台，同时还能兼顾机器学习、深度学习等多样算法框架，支持分布式计算，能够满足不同层次用户的需求，从而降低了机器学习平台运维成本。

技术领域

本发明涉及大数据分析技术领域，特别涉及一种基于Docker的数据处理平台。

背景技术

数据科学(Data Science)是研究数据的科学，主要是用数据的方法研究科学和用科学的方法研究数据，它依赖着数据的广泛性和多样性以及数据研究的共性。

随着科学的发展，现在的数据处理技术需要通过快速重新部署实现的，更加快速、轻量、对业务的高可用支持，从而使工作更加高效。Docker是目前最流行的容器技术之一，是一个开源的应用容器引擎，让开发者可以打包应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上。同时Docker还可以实现虚拟化。而且Docker容器是完全使用沙箱机制，相互之间不会有任何接口，因而启动更快速、更轻量、隔离性更弱、对业务的高可用支持是通过快速重新部署实现的、快速迭代，更重要的是容器性能开销极低。

为满足新趋势下的技术要求，本发明提出了一种基于Docker的数据处理平台。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于Docker的数据处理平台。

本发明是通过如下技术方案实现的：

一种基于Docker的数据处理平台，其特征在于：以分布式计算框架为基础，整合开源的数据科学工具，包括模型应用单元、分析建模单元、算法库单元、计算框架单元、数据连接单元和系统管理单元，支持交互式编程和拖拽式实验，为用户提供模型训练、预测、评估和部署的全生命周期管理功能。

所述模型应用单元包括模型发布模块，模型运行模块和模型管理模块；所述模型管理模块用于管理通过实验流程保存的模型，用户可以查看模型列表、下载或删除模型文件。

本发明基于Docker的数据处理平台，支持可视化拖拽型机器学习模式，实验中的实验面板具备放大、缩小、原始尺寸、适应实验面板和全屏显示功能，实验面板中的组件可以随意用鼠标进行拖动，并且可以利用鼠标滚轮任意放大/缩小实验面板，选中实验面板中的实验组件并右键单击可以对执行结果进行查看。

所述分析建模单元包括可视化建模模块，向导式建模模块和交互式IDE模块，其中可视化建模模块包括拖拽式组件，流水线编排组件，参数自定义组件，数据透视组件，模型报告组件和项目管理组件。

本发明基于Docker的数据处理平台，集成了Python环境和PySpark环境，交互式IDE模块包括Python组件和PySpark组件；Python组件为用户集成了Jupyter Notebook。

所述向导式建模模块包括预置模型组件和自动学习组件。本发明基于Docker的数据处理平台，支持用户使用实验模块进行数据读取、数据预处理、特征工程、训练模型以及测试评估模型操作；且用户建立起完整的流程后即可运行，等待运行结果，省去了代码的编写过程；训练结束后，模型文件保存至HDFS(Hadoop分布式文件系统)，用户可以在模型管理单元查看或下载已保存的模型文件。

所述算法库单元包括数据预处理模块，机器学习模块，特征工程模块，文本挖掘模块，统计分析模块，深度学习模块，时间序列模块和网络分析模块。