[发明专利]一种基于多局部搜索的神经网络进化方法

说明书

技术领域

本发明属于神经网络领域，应用于人工智能、机器学习、智能算 法、模式识别、数据挖掘和语音识别等领域，尤其涉及一种基于多局 部搜索的神经网络进化方法。

背景技术

人工神经网络已经被广泛地应用于许多科学问题，例如模式识别， 分类、聚类和回归等问题。人工神经网络的性能很大程度上依赖于网 络的框架，网络框架过大可能导致对训练集的过适应，这是因为网络 框架越大则处理信息的能力越强，另一方面，网络框架过小可能导致 对数据训练不充足，这是因为网络框架越小则处理信息的能力越弱。 这两种情况都将降低神经网络的泛化能力。因此，设计合适的网络框 架来解决不同的问题是必要的。

Backpropagation(BP)算法是最为传统的神经网络训练算法，通 过信息的反馈不断调节结点间的权值。然而，它只能训练固定框架的 神经网络，并且对初始化的权值很敏感，所以BP算法往往会陷入局部 最优空间内搜索。此外，构造法和修剪法也被用于设计神经网络。构 造法先是初始化一个小的网络框架，在训练过程中增加结点和权值， 直到条件符合。然而，修剪法先是初始化一个大的网络框架，在训练 过程中删除多余的结点和权值，直到条件符合。最近几年，有研究人 员提出了混合训练法，将构造法和修剪法进行结合，在训练过程既可 以增加结点和权值，又能删除结点和权值，目的是能根据不同问题和 训练过程，自适应地调节网络的框架。然而，构造法、修剪法和混合 训练法的结合都是基于爬山算法，所以也将陷入局部最优。

为了避免陷入局部最优解，很多研究者提出了使用进化算法 (EvolutionaryAlgorithm)来优化神经网络，包括网络中的权值、 框架和学习规则。这是因为进化算法有很强的全局搜索能力，能找到 全局最优或近似最优的神经网络个体。基于进化算法的方法可大致分 为两类：第一类是只依赖进化算法来优化神经网络框架，另一类是在 使用进化算法的同时加入了一些局部搜索算法，加快搜索进程。然而， 对于复杂问题的优化，例如神经网络的优化，加入单一的局部搜索算 法并不能取得很好的效果。此外，传统的进化算法往往会容易过早收 敛。

发明内容

为了克服已有神经网络进化方法的容易过早收敛、计算速度较慢 的不足,本发明提供了一种有效避免过早收敛、计算速度较快的基于多 局部搜索的神经网络进化方法。

本发明解决其技术问题所采用的技术方案是：

一种基于多局部搜索的神经网络进化方法，包括如下步骤：

步骤1、生成一个M层神经网络的种群，每个网络个体使用实数 编码，网络个体中隐结点的个数和权值被随机初始化，M≥3，且为自 然数；

步骤2、计算每个网络个体的适应度值；

步骤3，根据网络个体的适应度从高到低选择个体生成新的种群；

步骤4、每个网络个体进行突变操作，突变的概率基于个体的的 适应度在种群中的排序；

步骤5、每个网络个体进行多局部搜索机制来调节网络中的隐结 点个数和权值；

步骤6、使用一次迭代的BP算法来调整权值；

步骤7、计算子代个体的适应度值，并且将父代和子代合并成一 个种群；

步骤8、使用精英策略选择个体生成新的种群

步骤9、判断停止标准是否满足，如果不满足，返回步骤3，如 果满足，选择最优网络个体，并对测试集进行分类预测。

本发明的有益效果主要表现在：在进化过程中，引入了多个局部 搜索操作，并且设计了一种自适应地方法促进局部搜索操作间相互竞 争和合作，能快速有效地调整网络个体的框架。此外，应用了一种新 的突变策略，能有利于避免陷入种群过早地收敛。本发明的最终目的 是能加快进搜索全局最优个体或近似最优个体。

附图说明

图1是本发明优化神经网络的流程图。

图2是本发明中网络框架示意图。

图3是本发明中个体编码方式示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种基于多局部搜索的神经网络进化方法，包括 如下步骤：

步骤1、生成一个M层神经网络的种群，每个网络个体使用实数 编码，网络个体中隐结点的个数和权值被随机初始化，M≥3，且为自 然数；

步骤2、计算每个网络个体的适应度值；