[发明专利]一种分布式数据挖掘模型评估的方法与系统

说明书

技术领域

本发明涉及数据分析挖掘技术领域，更具体地，涉及一种分布式数据挖掘模型评估的方法与系统。

背景技术

目前，随着大数据时代的到来，海量数据的分类应用问题越来越多，数据挖掘成为一种崭新的商业信息处理技术；对数据及数据的挖掘处理进行建模的数据挖掘模型越来越重要。其中，对问题进行分类挖掘提取的具有分类算法的数据挖掘模型的预测能力成为更多用户青睐的对象。

而数据挖掘模型的种类及其所使用的算法非常多，对于某一类具体数据的挖掘，模型也有优劣之分。如何在众多数据挖掘模型中选择性能满足要求的模型非常重要，因为好的数据挖掘模型不仅准确率高而且速度快。

传统的对数据挖掘模型的选择，一般是由数据分析人员逐个构建多个模型并对比分模型结果，利用专业知识进行判别而选择的最佳模型。这种人工的模型评估的方法，需要评估人具有专业的知识储备，且评估结果的有效性和适用性具备较强的主观性。

传统的智能算法评估模型采用常规的并行计算方式，有两个问题，其一是模型不支持分布式算法，其二是在使用大量数据进行算法评估时，模型速度较慢。

现有数据挖掘产品如R、SPSS Modeler、RapidMiner等，模型计算效率低下，模型评估流程复杂。

基于Spark数据分析架构的针对分类模型的模型评估模块中，包含部分分类算法的分布式评估指标代码包，但远不能满足其他分类模型的评估。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的分布式数据挖掘模型评估的方法与系统。

根据本发明的一个方面，提供一种分布式数据挖掘模型评估的方法，包括：

S1，利用特定评估指标集生成模型评估模块；

S2，基于评估数据集，利用所述模型评估模块以分布式策略对至少一个数据挖掘模型进行评估。

进一步，所述S1进一步包括：

S1.1，建立评估指标库，将所述特定评估指标集配置到所述评估指标库中；

S1.2，生成一个包含所述特定评估指标集中的全部评估指标的模型评估模块。

进一步，所述S2进一步包括：

S2.1，从大数据中获取所述评估数据集，选取数据挖掘算法对所述评估数据集进行数据分析，获得数据挖掘模型；

S2.2，基于Spark分布式计算框架，利用所述模型评估模块对所述数据挖掘模型进行评估，以评估数据挖掘模型或数据挖掘算法的优劣。

具体的，所述特定评估指标集中的评估指标包括准确率、召回率、F-测量、ROC曲线、AUC面积、均方误差、均方根误差和平均绝对误差。

进一步，所述S2.1进一步包括：

基于一个数据挖掘算法，配置不同的参数对所述评估数据集进行数据分析，获得用于评估数据挖掘模型的多个数据挖掘模型；或者

基于多个数据挖掘算法，对所述评估数据集进行数据分析，获得用于评估数据挖掘算法的多个数据挖掘模型。

进一步，所述S2.2进一步包括：

S2.2.1，将所述模型评估模块配置为评估流程节点；

S2.2.2，基于所述评估流程节点和预设的评估指标，利用所述Spark分布式计算框架对待评估的数据挖掘模型进行评估，获得评估结果，并将所述评估结果写入数据库。

进一步，所述S2.2进一步包括：

S2.2.4，通过增益图和提升图对所述评估结果进行显示。

进一步，所述S2.2进一步包括：

所述模型评估模块对基于一个数据挖掘算法的多个数据挖掘模型分别进行评估，获得对所述多个数据挖掘模型的评估结果；或者

所述模型评估模块对基于多个数据挖掘算法的多个数据挖掘模型分别进行评估，获得对所述多个数据挖掘算法的评估结果。

具体的，所述预设的评估指标为所述特定评估指标集中的至少一种。

根据本发明的另一个方面，一种分布式数据挖掘模型评估的系统，包括评估模块生成模块和模型评估模块，

所述评估模块生成模块，用于利用特定评估指标集生成模型评估模块；

所述模型评估模块，用于基于评估数据集，利用所述模型评估模块以分布式策略对至少一个数据挖掘模型进行评估。