[发明专利]一种方便数据分析人员使用的集成机器学习的方法及系统

摘要

本发明涉及机器学习技术领域，特别涉及一种方便数据分析人员使用的集成机器学习的方法及系统。所述方法包括以下步骤：(1)数据探索；(2)数据清洗；(3)特征提取；(4)特征选择；(5)样本采样；(6)模型训练；(7)模型优化；(8)模型融合；(9)模型可解释性；(10)自然语言处理。所述系统包含数据处理模块、特征处理模块、模型处理模块和自然语言处理模块。本发明为机器学习工程师、学生、老师以及机器学习爱好着提供统一的算法建模流程，用20％的精力完成建模流程，把80％的精力放在对业务的理解和对模型应用上，深度理解业务，更好的实现业务人员对于模型的要求。

主权项

1.一种方便数据分析人员使用的集成机器学习的方法，其特征在于：所述方法包括以下步骤：(1)数据探索：针对原始数据表，输出各个字段的情况；指定目标字段及特定分析字段列表，输出各个字段与目标字段的关联分析结果；针对原始数据表，提供离群样本检测模板，输出潜在的离群样本点；针对原始数据表，提供二维组合特征探索分析模板，输出潜在的二维特征组合及组合方式；(2)数据清洗：针对原始数据表，提供常规的数据清洗模板；(3)特征提取：针对含主键的数据集，含主键的时间序列，蕴含时间先后的记录；(4)特征选择：使用特征向量和目标值共同决定保留最重要的特征维度。(5)样本采样：针对原始数据表，按照一定正负样本比例，进行降采样或者过采样或按照主键进行采样；(6)模型训练：单一模型的训练及测试过程模板，输出训练时长、各项评估指标的值、PR曲线、ROC曲线、重要特征分析、过拟合判断，模型生成报告，输出进度条并预估时间；(7)模型优化：对多个模型、多个参数列表，进行训练，针对指定的评估指标，选择出最优的模型参数；(8)模型融合：提供不同样本子集、不同特征集合训练的模型融合工具包；(9)模型可解释性：通过模型结果的可视化分析、模型结果中组合特征分析等，输出模型解释性信息；(10)自然语言处理：对语言文字进行分析，统计词频，分析语义。