[发明专利]一种融合课程学习策略的脉冲神经网络优化方法

说明书

本发明公开了一种融合课程学习策略的脉冲神经网络优化方法，包括基于训练集中的训练样本对初始化后的脉冲神经网络进行训练，获得预测结果；将预测结果与训练集中的样本标签对比，并计算得到置信度损失；将置信度损失最小为目标函数，逐层向前求导，更新脉冲神经网络中每一层各神经元的参数；不断更新优化脉冲神经网络的参数，直到迭代完成设定好的轮次。本发明在脉冲神经网络中引入课程学习，在训练过程中动态的评价样本的难度，扩大对模型当前状态来说较简单的样本在反向传播中的贡献，对当前较难的样本，则减少对参数更新的影响。此脉冲神经网络优化策略具有高生物合理性，有效的实现了在脉冲神经网络中模拟人类学习新知识的过程。

技术领域

本发明涉及一种融合课程学习策略的脉冲神经网络优化方法，属于机器学习、深度学习领域。

背景技术

脉冲神经网络，是模拟人类大脑处理信息的方式神经网络。相比于传统人工神经网络，脉冲神经网络具有低能耗、高效处理时序信息等优点。经过发展，脉冲神经网络当前有三种主要的学习方式：监督学习、无监督学习、人工神经网络转脉冲神经网络。

脉冲神经网络中通过脉冲神经元传递0/1离散的脉冲信号，对每一个脉冲神经元，接收到输入时，神经元膜电位根据神经元动力学方程进行变化。若接收输入后，膜电位超过既定阈值，则神经元输出1，发放一个脉冲，并恢复到静息电位；否则神经元输出0，保持静默。这就是脉冲神经元的充电、放电和重置过程。

而当前的脉冲神经网络模型在训练过程中总是平等的对待所有样本，没有考虑当前状态下模型的学习能力是否可以有效的学习相对复杂而困难的知识，这并不合理，也不符合人类学习的自然规律，因而具有较低的生物可解释性。

发明内容

为了克服现有技术中存在的缺陷，本发明旨在提供一种融合课程学习策略的脉冲神经网络优化方法。

本发明解决上述技术问题所提供的技术方案是：一种融合课程学习策略的脉冲神经网络优化方法，包括以下步骤：

步骤S10、随机初始化脉冲神经网络的各参数；

步骤S20、基于训练集中的训练样本对初始化后的脉冲神经网络进行训练，获得预测结果；

步骤S30、将预测结果与训练集中的样本标签对比，并计算得到训练样本交叉熵损失l_i；

步骤S40、利用步骤S30中得到的交叉熵损失l_i，计算得到各训练样本的置信度σ_i；

步骤S50、利用步骤S30得到的交叉熵损失l_i和步骤S40中得到的置信度σ_i，计算得到置信度损失L_i；

步骤S60、将步骤S50中得到的置信度损失L_i最小为目标函数，逐层向前求导，更新脉冲神经网络中每一层各神经元的参数；

步骤S70、重复步骤S20-S60，不断更新优化脉冲神经网络的参数，直到迭代完成设定好的轮次，得到脉冲神经网络优化后的脉冲神经网络模型。

进一步的技术方案是，所述步骤S20中训练样本编码为脉冲序列。

进一步的技术方案是，所述步骤S20的具体步骤为：

步骤S21、将训练集中的训练样本编码为脉冲序列，并输入脉冲神经网络中；

步骤S22、逐层向后根据LIF神经元的动力学公式进行计算处理；

步骤S23、根据输出层各神经元发放脉冲的频率，得到模型预测的结果。

进一步的技术方案是，所述步骤S40中的计算公式为：