[发明专利]数据分析服务流程模型推荐方法

说明书

本发明一种数据分析服务流程模型推荐方法，其特征在于，其包括：从OpenML下载数据集、模型及模型运行信息，其中数据集中可用于模型推荐的信息有数据集的数据信息和数据集的文本描述信息；对数据集进行预处理；提取预处理后的数据集的数据特征；基于预处理后的数据集的文本描述信息提取数据集文本描述特征；利用预处理后的数据集的数据特征和文本描述特征构建SVM模型类型分类器，得到模型类型；利用协同过滤算法计算预处理后的数据集的数据特征和文本描述特征的相似性，根据相似性和模型类型推荐模型。本发明数据分析服务流程模型其拥有丰富的数据集信息，通过数据集信息的特征比较挖掘，往往能使得模型推荐拥有更好的效果。

技术领域

本发明涉及数据分析服务技术领域，特别是涉及一种数据分析服务流程模型推荐方法。

背景技术

工作流(服务流程)模型推荐，现有主要分为传统的业务工作流模型推荐和随着数据挖掘、大数据兴起的数据分析工作流模型推荐。

对于传统的业务工作流模型推荐，各种研究已较为完善，算法已较为成熟。目前主流的算法主要分为：分类(Classification)、概率图模型(Probabilistic GraphicalModels)。其中分类又主要分为：聚类(Clustering methods)、决策树(Decision trees)。概率图模型又分为贝叶斯网络(Bayesian networks)、马尔科夫链(Markov Chains)。它们都能较好的进行业务工作流模型的推荐。

而对于数据分析工作流模型推荐，一开始研究者们纷纷借鉴了业务工作流模型推荐的方法。在用户设计模型时，对模型进行解析，与数据库中模型进行比较，为用户推荐模型下一步构建步骤。常见的方法有：上下文感知的KNN方法(A Context-Aware kNNMethod)、上下文感知共现方法(A Context-Aware Co-Occurrence Method)、基于链接的方法(A Linked-Based Method)、基于链的方法(A Chain-Based Method)等等。

以上方法将传统的模型推荐算法结合上下文信息，应用于数据服务流程模型推荐上，确实提高了推荐的准确率，但其同时也存在一些问题：只考虑了模型的信息，但是数据分析工作流与传统的业务工作流不同，还需要考虑数据的特征。

发明内容

本发明针对现有技术存在的问题和不足，提供一种新型的数据分析服务流程模型推荐方法。

本发明是通过下述技术方案来解决上述技术问题的：

本发明提供一种数据分析服务流程模型推荐方法，其特点在于，其包括以下步骤：

S1、从OpenML下载数据集、模型及模型运行信息，其中数据集中可用于模型推荐的信息有数据集的数据信息和数据集的文本描述信息；

S2、对数据集进行预处理；

S3、提取预处理后的数据集的数据特征；

S4、基于预处理后的数据集的文本描述信息提取数据集文本描述特征；

S5、利用预处理后的数据集的数据特征和文本描述特征构建SVM模型类型分类器，得到模型类型；

S6、利用协同过滤算法计算预处理后的数据集的数据特征和文本描述特征的相似性，根据相似性和模型类型推荐模型。

较佳地，步骤S2包括：

S21、过滤数据集信息，对于数据集在模型中运行次数少于100次的数据集进行排除；

S22、标注各个数据集上的最佳模型，最佳模型主要有两方面影响因子：数据集在模型中运行得到的准确率accuracy和模型被用户运行次数runTime，根据如下公式进行归一化处理，并得到评分最高的最佳模型scor：