[发明专利]基于遗传算法的自动机器学习数据建模方法

说明书

本发明公开了基于遗传算法的自动机器学习数据建模方法，其包括以下步骤，步骤一：设定多个管道，每个所述管道均包含四个模块，四个所述模块分别设置为数据预处理模块、特征工程模块、模型生成模块和模型评估模块；步骤二：初始化遗传算法，首先定义遗传算法的关键参数：generations，population_size，offspring_size，mutation_rate，crossover_rate，然后定义优化参数：scoring，cv，subsample。本发明采用一种基于遗传算法为框架的自动机器学习技术，充分利用遗传算法变异交叉全局优化的特点，自动构建可用于算法模型，通过对各类基础任务(如，超参优化)的自动迭代，使该自动机器学习框架搜索到的模型具有模型精度高，可解释性强，鲁棒性高等特点。

技术领域

本发明涉及计算机机器学习领域，具体是基于遗传算法的自动机器学习数据建模方法。

背景技术

机器学习已成为现代人们数字生活必不可少的组成元素，受到广大研究人员的重视，但是在构建机器学习处理流程过程中，需要大量有经验专家的深度参与：一方面，需要数据科学家提供深入的机器学习算法知识；另一方面，又需要领域专家提供本场景下，长期积累的特殊领域知识。

经过协同合作，这些专家的知识将有效构建出一个实用的机器学习应用，进而经过大量“领域驱动”的特征工程以及调试优化，这个应用将呈现出难以置信的预测能力，通常来说，这种应用的构建，意味着非常复杂的处理任务，同时需要投入长期的优化、训练工作。

发明内容

为此，本发明提出基于遗传算法的自动机器学习数据建模方法以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供以下技术方案：基于遗传算法的自动机器学习数据建模方法，其特征在于，其包括以下步骤：

步骤一：设定多个管道，每个所述管道均包含四个模块，四个所述模块分别设置为数据预处理模块、特征工程模块、模型生成模块和模型评估模块；

步骤二：初始化遗传算法，首先定义遗传算法的关键参数：generations，population_size，offspring_size，mutation_rate，crossover_rate，然后定义优化参数：scoring，cv，subsample；

步骤三：遗传算法过程：

a.初始化：随机初始化n个线性管道；

b.淘汰：通过多目标遗传规划算法选择，最大化验证集准确率同时最小化每个管道的算子，选取定义的前d个管道；

c.分裂：将步骤2得到的d个管道复制t份共d*t个管道作为初始化子代；

d.变异：首先，将5％子代与另5％子代的管道上的算子互换，然后将剩下的90％的子代，等概率进行增删，转移算子操作；

e.转到步骤二，重复该过程m次；

步骤四：将最优的管道生成的模型保存同时保存了最优参数，以便用于模型部署。

进一步，作为优选，所述步骤一中，所述数据预处理模块包括数据增强、缺失值计算、数据变换、数据集分割和数据标准化与归一化方法。

进一步，作为优选，所述步骤一中，特征工程模块主要为特征选择，主要包括过滤式、包裹式和嵌入式。

进一步，作为优选，所述过滤式有方差选择法、相关系数法、卡方检验和互信息法。

进一步，作为优选，所述包裹式主要为递归特征消除法。

进一步，作为优选，所述嵌入式主要由基于惩罚项的特征选择法、基于树模型的特征选择法。