[发明专利]基于个体‑种群的智能优化算法在Spark上的通用并行化方法

摘要

本发明公开了基于个体‑种群的智能优化算法在Spark上的通用并行化方法，包括封装个体的抽象基类、种群的抽象基类和中间数据格式类；设定个体的实现类和种群的实现类；初始化种群、个体和全局最优个体；初始化环境上下文，生成常量信息的广播量并广播；并行化生成种群分布式数据集；每个种群经过独自进化、种群适应度评估后返回适应度最优个体；找出当代最优个体和更新全局最优个体；并行化生成中间交换数据分布式数据集；进行种群之间的个体交换等步骤。本发明的有益效果在于，针对基于个体‑种群的智能优化算法，在Spark平台上提出了一种通用型的并行化方法，使原本运行在单机上的算法分布到不同的计算机上同时运行，以减少运行时间，提升效率。

主权项

基于个体‑种群的智能优化算法在Spark上的通用并行化方法，其特征在于，包括步骤：(1)封装个体的抽象基类BaseIndividual，封装种群的抽象基类BasePopulation，封装种群之间用于个体交换的中间数据格式类ExchangeData；(2)设定所述智能优化算法的个体的实现类SomeIndividual，设定所述智能优化算法的种群的实现类SomePopulation；所述SomeIndividual继承自BaseIndividual，SomePopulation继承自BasePopulation；(3)初始化M个种群，M≥2；初始化每个种群中N个个体，N≥100；初始化全局最优个体gbest，初始化最大迭代次数MAX_T，设当前迭代次数t＝1；(4)初始化环境上下文SparkContext，调用SparkContext.broadcast()接口生成常量信息的广播量，广播到Spark平台上的所有计算节点内；(5)调用SparkContext.parallelize()接口将M个种群对象并行化，生成对应的种群分布式数据集PopulationRDD；(6)调用PopulationRDD.map()接口执行并行计算；所述PopulationRDD.map()接口中，每个种群依次经过独自进化、种群适应度评估后返回该种群中适应度最优的前K个个体，其中K≥2；(7)调用PopulationRDD.collect()接口，收集每个种群返回的K个个体，从中找出当代最优个体cbest；若cbest的适应度优于gbest，则用cbest更新gbest；(8)对每个种群返回的K个个体进行封装，生成M个用于个体交换的中间数据，再对M个中间数据进行打乱混排，然后调用SparkContext.parallelize()接口对其进行并行化，生成对应的个体中间交换数据分布式数据集ExchangeRDD；(9)调用PopulationRDD.zipPartitions()接口并传入ExchangeRDD，进行种群之间的个体交换；(10)t＝t+1，若t<MAX_T，转到步骤(6)，否则退出循环，输出gbest。