[发明专利]一种基于MSP-GEP-Elman算法的实时短视频用户画像预测方法及系统

说明书

本发明公开了一种基于MSP‑GEP‑Elman算法的实时短视频用户画像预测方法及系统，首先基于构建的镜像重置策略，对种群内的劣质个体进行替代，提高种群内个体的质量和个体的多样性，同时基于克隆对比策略，在进行对比选择之前，先进行克隆选择的操作，提高对优质个体的发现能力。构建并行化迭代GEP算法，在相同的时间，GEP算法完成更多次的迭代以进化出更优个体，提高预测精度，加快收敛进程。本发明基于MSP‑GEP算法来优化Elman神经网络，获取Elman神经网络的初始的权值和阈值，提升Elman神经网络的收敛速度，快速找到全局最优解，避免Elman神经网络陷入局部最优的情况。

技术领域

本发明属于数据分析领域，涉及一种基于MSP-GEP-Elman算法的实时短视频用户画像预测方法及系统。

背景技术

在短视频公司中，各个平台存储着EB级的超大规模、多维度、高质量的用户行为数据，基于这些用户行为数据可以勾勒出用户的行为习惯，进而为用户推送用户偏爱的内容。

为了准确地预测用户画像，需要将大量历史数据输入到神经网络中进行训练，然而训练的过程需要消耗大量的时间，如何提升神经网络模型预测的精准度和速度成为整个行业都急需解决的问题，因此亟需一种精度高、速度快的预测方法，快速处理海量的数据。

发明内容

本发明的目的在于解决现有技术中的问题，提供一种基于MSP-GEP-Elman算法的实时短视频用户画像预测方法及系统，能够提高种群内个体的质量和个体的多样性，提高对优质个体的发现能力；提升了GEP算法迭代的速度，加快收敛的进程；还可以提升Elman神经网络的收敛速度，快速寻找到全局最优解，避免Elman神经网络陷入局部最优的情况。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于MSP-GEP-Elman算法的实时短视频用户画像预测方法，包括：

步骤1：设定Elman神经网络的初始权值和阈值；

步骤2：基于MSP-GEP算法，Spark分布式计算集群的master节点；

步骤3：分发基于master节点生成不同的随机种子到不同的worker节点，初始化MSP-GEP种群内的所有个体；并将Elman神经网络的初始权值和阈值映射到种群内个体的基因上，对每个个体都进行编码；

步骤4：对MSP-GEP种群内的所有个体进行进化迭代，丰富种群内多样性；

步骤5：判断种群内多样性是否大于阈值；若是，进行步骤6；若否，基于镜像重置策略，对劣质个体进行替代，进行步骤6；

步骤6：基于克隆对比策略，筛选种群中适应度值最大的若干个个体进行处理，提高种群的最大适应度值；

步骤7：判断局部迭代次数是否大于设定的最大值K₁时，若是，每个worker节点选出最优个体发送给master节点；若否，重复步骤4～步骤7；

步骤8：对比所有局部最优个体的适应度，筛选出适应度值最大的个体作为整个Spark分布式计算集群的全局最优个体以及全局最优个体对应的worker节点编号i，然后将全局最优个体和编号i发送到所有worker节点；

步骤9：对比worker节点自身编号与编号i，如果相等，则将自身最差个体替换为全局最优个体，反之，不进行任何操作；

步骤10：当全局迭代次数到达设定的最大值K₂时，结束迭代流程，否则，重复步骤4～步骤10；

步骤11：将MSP-GEP的全局最优个体传递给Elman神经网络进行二次初始化，即作为全局最优个体开始训练的初始权值和阈值；