[发明专利]一种可视化机器学习训练模型的建模系统和方法

说明书

技术领域

本发明属于大数据机器学习技术领域，具体涉及一种可视化机器学习训练器，主要用于帮助用户实现快速的模型训练。

背景技术

现有的机器学习模型的创建过程非常繁琐，其创建过程通常包括：特征分析、模型训练、模型验证、模型调优、模型导出和模型加载。

其中，每个阶段都需要独立进行编码，尤其是创建和分析过程非常繁琐及耗时，需要数据分析师及工程师投入大量的时间。

另外，由于每个阶段的交换数据格式不统一，导致模型训练非常耗时，无法实现体系化结果验证。

发明内容

为了解决现有技术的上述问题，本发明提供一种可视化机器学习训练模型的建模方法，其可以实现高质量的机器学习建模，包括实现可视化的流程设计、可视化的模型验证、可视化的查看中间结果，可以让数据分析师在不进行编码的情况下进行机器学习的训练，可以加快模型的训练。

本发明还提供一种可视化机器学习训练模型的建模系统，其可以实现高质量的机器学习建模，包括实现可视化的流程设计、可视化的模型验证、可视化的查看中间结果，可以让数据分析师在不进行编码的情况下进行机器学习的训练，可以加快模型的训练。

为了达到上述目的，本发明采用的主要技术方案包括：

一种可视化机器学习训练模型的建模方法，其包括如下步骤：

S1、选择预定的图形化算法组件，并拖拽至设计区来建立图形化算法组件中的算法之间的数据流向，以此生成流程描述语言；

S2、对流程描述语言进行解析，根据节点类名及属性创建相应的学习组件，并生成相应的Spark学习管道；

S3、将学习管道提交到Spark集群上进行模型训练。

借助上述方案，本发明的可视化机器学习训练模型的建模方法，其可以实现高质量的机器学习建模，包括实现可视化的流程设计、可视化的模型验证、可视化的中间结果查看，可以让数据分析师在不进行编码的情况下进行机器学习的训练，可以显著加快模型的训练效率。

其中，步骤S1中，图形化算法组件是将预定算法封装形成的。例如，可以基于Canvas技术，采用SmartML(数据建模语言SmartML基于JSON格式书写，包括在根下建立dataSource、query、mapping、outputTable、sql和partition六个子结点。其中，dataSource结点用于指出要抽取的数据从哪里来。较佳的，dataSource结点下定义有两个子结点name和type，其中，name用于指出数据来源的名称，type用于指出数据来源的类型。其中，query结点用于定义每种不同平台数据产生和查询的过程。其中，mapping结点用于定义当前来源数据抽取结果的输出结构。较佳的，可以用于将从数据源里抽取数据的结构进行重新定义。其中，outputTable结点用于定义一种数据来源查询结果的输出表名称。较佳的，数据表名称定义后，可以作为接下来一个或几个数据分析过程的输入。其中，sql结点用于将不同数据来源抽取到的数据进行重新计算、关联、分析并输出。较佳的，sql的语法可以遵循Spark Sql的标准语法结构。其中，partition结点用于定义分区，根据数据特点和实际需要将数据集分布到Spark集群的一个或多个结点上。)将线性回归算法、Logistic算法封装为图形化算法组件。

较佳的，图形化算法组件内部隐藏有预定的操作逻辑。借此，达到将复杂的算法逻辑进行图形化封装简化的效果。

其中，步骤S1中，还对图形化算法组件进行相应的属性设置。例如，对随机森林算法的深度、最大特征、分类树、采样策略等属性进行设置。

其中，步骤S1中，图形化算法组件包括下列组件中的任一个或任几个：

数据源组件，用于供用户选用来在机器学习训练模型中建立读入数据用的数据读取组件；

数据预处理组件，用于供用户选用来在机器学习训练模型中建立对数据进行预处理的数据预处理组件；

文本分析组件，用于供用户选用来在机器学习训练模型中建立用于文本分析的文本分析组件；

机器学习组件，用于供用户选用来在机器学习训练模型中建立用于机器学习的机器学习组件；

结果验证组件，用于供用户选用来在机器学习训练模型中建立用于结果验证的结果验证组件。

其中，步骤S2中，学习组件是根据节点类名及属性创建的。

其中，步骤S2中，Spark学习管道是根据节点的连接属性生成的。

其中，步骤S3中，学习管道是依据Spark集群的资源利用情况提交到Spark集群上的。借此，提高训练效率。