[发明专利]分布式机器学习可视化装置

说明书

本发明公开了一种分布式机器学习可视化装置，包括：组件模块、机器学习工作模块、配置模块、日志模块和报告模块，其中，组件模块用于提供拖拽组件以及报告的可查看编辑组件；机器学习工作模块用于为机器学习提供工作区域，允许将拖拽组件拖拽进入本模块，并进行流程图式连接；配置模块用于提供组件配置内容，并根据当前配置动态更新；日志模块，用于提供当前运行状态；报告模块用于在生成报告时，提供当前工作区域内各节点的详情以及运行结果的可视化内容。该装置可以为非机器学习专业人员提供一个门槛低、可视化程度高的一个分布式机器学习平台，并可以有效应对海量数据以及高精度机器学习的问题，简单易实现。

技术领域

本发明涉及大数据机器学习技术领域，特别涉及一种分布式机器学习可视化装置。

背景技术

当下的机器学习可视化系统多为逐步配置，逐步推进的建模技术，即对机器建模的每一步进行配置、运行，得到结果再推进下一步的过程。仅有较少的平台在机器学习可视化过程中推进了建模一体化技术，在机器学习可视化技术上取得了进展。例如，一种可视化机器学习训练模型的建模方法，包括实现可视化的流程设计、可视化的模型验证、可视化的查看中间结果，可以让数据分析师在不进行编码的情况下进行机器学习的训练。其中流程设计可以拖拽图形化算法组来建立图形化算法组件中的算法之间的数据流向，并生成流程描述语言；继而通过流程解析器，对流程设计器生成的流程描述语言进行解析，创建相应的学习组件和Spark学习管道；再由流程调度器将Spark学习管道提交到Spark集群上进行模型训练。从而实现了高质量机器学习建模。

不难发现，在现有的技术中大多数还是将机器学习可视化进行逐步处理，很少以管道化的流程式技术处理。而在为数不多的流程式处理技术中，也是侧重于数据分析方法的建模以及模型评估，而对于能为数据分析提供策略和数据保障的数据探索、数据预处理、特征工程等部分则未能完整的加入到一体化建模流程中。再者，当数据量巨大时，机器学习算法运行耗时也会更久，因此当流程运行中出现问题时，再次从起点运行则会带来重复耗时的问题。同时，对建模以及模型评估之后的总结部分也没有一个完善的获取渠道，只能凭借用户自己的反复查看和观察，未能提供一份易于编辑、易于提取信息的可视化报告，因此带来了建模过程以及模型结果等内容未能得到良好的总结提升和复用问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种分布式机器学习可视化装置，该装置可以为非机器学习专业人员提供一个门槛低、可视化程度高的一个分布式机器学习平台，并可以有效应对海量数据以及高精度机器学习的问题，简单易实现。

为达到上述目的，本发明实施例提出了一种分布式机器学习可视化装置，包括：组件模块，用于提供拖拽组件以及报告的可查看编辑组件，其中，所述拖拽组件包括数据源组件、算法组件、模型组件和项目组件；机器学习工作模块，用于为机器学习提供工作区域，允许将所述拖拽组件拖拽进入本模块，并进行流程图式连接，并包含：配置组件参数、查看当前节点结果、由当前节点开始运行后续机器学习流程、保存模型及生成报告的功能；配置模块，用于提供组件配置内容，并根据当前配置动态更新；日志模块，用于提供当前运行状态；报告模块，用于在生成报告时，提供当前工作区域内各节点的详情以及运行结果的可视化内容，并支持可编辑，查看报告时，支持报告再编辑。

本发明实施例的分布式机器学习可视化装置，将数据探索，数据预处理，特征工程，机器学习算法，生成模型，模型评估的建模过程pipeline一体化；对机器学习过程结合验证执行和全量数据执行两阶段来实现分布式机器学习pipeline一体化；对建模过程、建模结果等内容动态生成可编辑的可视化报告；从而为非机器学习专业人员提供一个门槛低、可视化程度高的一个分布式机器学习平台，并可以有效应对海量数据以及高精度机器学习的问题，简单易实现。

另外，根据本发明上述实施例的分布式机器学习可视化装置还可以具有以下附加的技术特征：