[发明专利]基于遗传算法的机器学习模型自动生成方法

摘要

本发明公布了基于遗传算法的机器学习模型自动生成方法。传统的机器学习方法，当对模型的需求或模型的应用领域发生变化时，都需要开发者频繁地调整超参数、改造算法的结构，从而耗费大量人力物力。本发明通过对基于遗传算法的机器学习的研究，提出了用于自动生成机器学习模型的算法，可以自动生成多领域的，符合不同现实需求的机器学习模型。

主权项

1.基于遗传算法的机器学习模型自动生成方法，其特征在于如下步骤：步骤1. 利用预训练网络对数据进行降维；为实现机器学习模型在不同领域上的自动化生成，本发明采用了迁移学习的思想，迁移学习的目的是将以前学习的知识迁移到新的任务中；迁移学习是运用已存有的知识对不同但相关领域问题进行求解的一种新的机器学习方法；对于卷积神经网络而言，迁移学习就是要把在特定数据集上训练得到的“知识”成功运用到新的领域之中；对于小样本的机器学习工作，一种常用且非常高效的方法是使用预训练网络,预训练网络是一个保存好的网络，之前已在大型数据集（通常是大规模图像分类工作）上训练好；如果这个原始数据集足够大而且足够通用，那么预训练网络学到的特征的空间层次结构可以有效地作为视觉世界的通用模型，因此这些特征可用于各种不同的计算机视觉问题，即使这些新问题涉及的类别和原始任务完全不同；本发明建议的预训练网络有以下几种：VGG16，Xception，Inception V3，ResNet50；本发明冻结预训练网络的权重，并选择最后某几层的输出；用于数据的降维；步骤2：设置机器学习方法；机器学习的基本流程包括数据的采集，数据的预处理，数据的特征提取，数据的回归或分类；为实现多领域，多需求的机器学习模型的自动生成，本发明建议选择PCA+LDA作为数据降维方法，SVM作为数据分类方法的机器学习方法；PCA即主成分分析法；降维后的特征在维数还原后，构成的图像仍旧保持为图像的形式；所以，PCA方法能够保留尽可能多的全局信息；LDA：即线性判别分析技术；LDA算法在获取样本的类别信息后，目的是通过降维使降维后的数据类间方差最大，类内方差最小；SVM：即支持向量机；其基本思想为寻找到一个最优划分超平面，将不同类的样本区分开；步骤3：为遗传算法的个体设置合适的基因；不同机器学习的参数中存在着一部分连续型的变量：PCA降维的特征数，SVM中的C值等，也存在着一部分非连续变量：SVM的核函数等；由此，我们选择了混合染色体编码方式；将群体中的染色体划分为实数型和类别型两种；进行机器学习参数的优化；我们设实数型基因的下限为，上限为，类别型基因下限为，上限为，则机器学习调参的实数解空间与类别解空间如下所示：其中，实数解空间相互之间具有相关性，即大小相近的基因之间我们认为在解空间中能起到相似的作用，类别解空间之间相互独立，大小不同的类别解彼此之间没有任何关系；本发明主要选择了PCA+LDA进行降维，SVM进行分类的机器学习方法，所以，本发明建议设置三个实数型基因，，C；代表PCA算法的降维特征数，代表LDA算法的降维特征数，C代表SVM算法的惩罚系数；一个类别型基因，代表SVM算法的核函数；随着科技的不断进步，以后必然会出现越来越多的，效果越来越好的“预训练网络”；而深度学习由于其特有的黑盒测试属性，我们很难通过一些先验知识去判断什么样的“预训练网络”在什么样的“数据集”上表现更好；同时，我们也很难判断降维后的数据更适合用什么样的分类器进行后续的分类工作；由此，本发明提出了利用遗传算法对迁移学习进行优化的算法；通过遗传算法，选择最适合的“预训练网络”与机器学习“超参数”的组合，完成机器学习工作；所以，本发明添加新的基因：；我们利用预训练网络对数据进行了降维处理，但降维后的数据存在问题：可能丢失掉一部分原图像特征；原图像特征，深层卷积神经网络降维后的深层特征，在交给传统机器学习方法处理时都需要经过PCA等方法进行数据的降维，而降维的特征数是任意的，我们可以通过改变PCA降维或LDA降维的特征量，来改变三种特征的权重；由此，我们提出了一种基于遗传算法的特征融合算法；算法通过增加实数型基因...，根据测试集上的反馈结果，调节各种特征的降维数量以及对应的传统机器学习方法的超参数，来达到最好的分类效果；步骤4：根据不同的现实需求设置合适的适应度函数；根据不同的现实需求，存在多种指标对机器学习模型进行评价：准确率，查准率，查全率等；同时，模型所需训练样本的大小，模型预测需要的特征数目也会影响对模型的评价；当现实需求发生变化时，往往需要开发者频繁的改变超参数的值或算法的结构，以适应新的要求，从而耗费大量的人力物力；对于遗传算法而言，不同的现实需求，所对应的即为不同的适应度函数；由此，本发明提出了利用改变适应度函数来自动生成符合不同现实需求的机器学习模型的方法；利用本发明自动生成符合不同现实需求的机器学习模型的例子如下：对于追求高准确率的模型可以设置适应度函数为：其中acc代表模型在测试集上的准确率；对于追求降维后的特征量最少的模型，可以设置适应度函数为：对于想要平衡查准率，查全率关系的模型，可以设置适应度函数为：降维后的特征量最少的模型，可以设置适应度函数为：其中P代表模型在测试集上的查准率，R代表模型在测试集上的查全率；步骤5：利用遗传算法进行种群的优化求解；5.1传统遗传算法结构首先，设置选择算子，变异算子，交叉算子：在选择算子上，我们采用了经典的轮盘赌算法，每个群体被选择的概率仅和它的适应度函数的值相关（假设群体的个体数为M）：在交叉算子上，与传统遗传算法一样，我们通过交叉概率随机的选择两个进行交叉的个体与它们要进行交叉的基因位，当要进行交叉的基因位为实数基因时，我们按下式交叉（其中，p为0到1的随机数）：当进行交叉的基因位为类别基因时，我们按下式交叉；在变异算子上，当满足变异概率时，我们随机的选择一个个体的一个基因位进行变异，对于实数基因，我们采用下式其中，为0到1的随机数）：当进行变异的基因位为类别基因时，我们进行以下方式的变异；5.2 添加俄狄浦斯算子由于传统遗传算法在机器学习领域存在缺陷，我们提出了一种新的算子——俄狄浦斯算子，应用在机器学习的调参中，并取得了很好的效果；种群每发生三代进化，计算一次俄狄浦斯算子，它发生在上一代进化的选择算子选择完成，下一代进化的开始阶段；首先，它通过以下公式判断基因与基因间的相似性，对于实数型基因，当满足公式下式（是事先给定的阀值）时，我们认为两个基因是相似的：对于类别型基因，当满足公式下式时，我们认为两个基因是相似的：俄狄浦斯算子通过基因间是否相似，判断个体间是否相似，设个体间相似的基因个数为C，个体的总基因数为N，当满足下式时，我们认为两个个体是相似的（为个体间相似的概率系数）：我们按顺序依次选择一个个体，计算该个体与种群内其他个体的相似性，当与之相似的个体总数满足式下时，我们停止搜索，并选择该个体为种群的新的俄狄浦斯王（为种群内相似的概率系数）：如果搜索完毕，并没有产生新的俄狄浦斯王，我们认为种群内的差异性是足够的，种群并没有进入早熟收敛阶段，我们将和传统遗传算法一样，进入下面的选择，交叉，变异阶段；如果产生了新的俄狄浦斯王，首先，我们将它与上一代俄狄浦斯王进行相似性比较（第一代俄狄浦斯王设置为初始种群的随机一个个体）；如果新的俄狄浦斯王与老俄狄浦斯王并不相似，我们认为种群一定程度上摆脱了上一次的局部收敛；在这种情况下，我们并不应该像免疫算法那样抑制新俄狄浦斯王以及与之相似的个体的遗传进化，因为此时距离上一次摆脱局部最优解，种群仅进行了几代的进化，种群进化的次数还不足以帮助它收敛到最优；与免疫算法相反，我们应该鼓励种群的变异，加快种群的收敛速度，帮助种群尽快找到局部最优解；在俄狄浦斯算子中，我们将这种情况称为“警告”模式，如果种群触发了警告，将会连续进行三次“变异算子”，在保持种群原有大结构不变的前提下，进行多个基因的变异，帮助种群尽快推翻俄狄浦斯王，收敛到局部最优；如果新的俄狄浦斯王与上一代俄狄浦斯王进行比较，满足相似的要求；我们认为，在触发警告之后，种群依旧没有摆脱局部最优解的限制，收敛在了局部最优解；这种情况下，我们称为种群触发了“瘟疫”模式；在瘟疫模式里，首先，种群依旧会连续进行三次“变异算子”，来提高种群的差异性，随后，在每次种群计算完适应度函数后，我们将种群中的个体依次与新的俄狄浦斯王进行相似性比较，当个体与俄狄浦斯王相似时，我们会按照下式降低个体的适应度值，以此来抑制与俄狄浦斯王相似的个体的遗传进化（为大于0小于1的系数）：瘟疫模式直到下一次进行俄狄浦斯算子时终止；在经历了三代的自然选择之后，种群往往可以顺利的摆脱局部最优解，去探索其它的局部最优解，丰富自己最后的进化结果。