[发明专利]一种基于Mahout的机器学习服务组装方法

摘要

本发明提供一种基于Mahout的机器学习服务组装方法，其特征在于，包括以下步骤：步骤S1：将不同格式的数据进行预处理；步骤S2：进行模型训练；步骤S3：对模型进行评估；步骤S4：将算子进行统一的封装；步骤S5：根据用户描述的所要使用的机器学习方法以及要进行处理的数据的格式，组装机器学习工作流路径；步骤S6：当这些机器学习工作流在通过Oozie在Hadoop平台上运行结束之后，每一条工作流的模型评估算子将会给出工作流的评估结果；用户根据此评估结果，选择机器学习工作流。与现有技术相比，本发明能够快速有效地定制和调优可复用的机器学习流程，从而能够高效的在Hadoop平台上进行数据挖掘工作。

主权项

1.一种基于Mahout的机器学习服务组装方法，其特征在于，包括以下步骤：步骤S1：将不同格式的数据进行预处理，转换成模型训练使用的特征向量；步骤S2：进行聚类模型、分类模型及协同过滤推荐模型训练；步骤S3：对训练完成的模型进行评估；步骤S4：将步骤 Sl 、步骤 S2 和步骤 S3 三个阶段以 Mahout 算法库中算子的形式进行统一的封装，使其成为满足Oozie工作流平台调用规范的一系列服务；步骤S5：根据用户描述的所要使用的机器学习方法以及要进行处理的数据的格式，组装出多条满足需求的机器学习工作流路径；步骤S6：当这些机器学习工作流在通过Oozie在Hadoop平台上运行结束之后，每一条工作流的模型评估算子将会给出工作流的评估结果；用户根据此评估结果，选择机器学习工作流；步骤S7：将用户已经选定的机器学习工作流存储到知识库中，以供用户在此之后复用；步骤S3中训练完成的模型评估包括以下步骤：步骤S31：聚类模型评估采用簇间距离及聚类输出检查进行评估；步骤S32：分类模型评估采用正确率进行评估，若分类模型采用朴素贝叶斯算法，评估还包括混淆矩阵；混淆矩阵是分类模型输出结果和真实目标值的交叉表；混淆矩阵的每一行对应真实目标值,每一列对应分类模型的输出值；步骤S33：协同过滤推荐模型评估采用模型的准确率进行评估；步骤S2中的协同过滤推荐模型采用矩阵因式分解协同过滤算法及基于物品的协同过滤推荐算法的协同过滤推荐模型。