[发明专利]基于拟牛顿法在线训练神经网络的FPGA系统及实现方法

摘要

本发明公开一种基于拟牛顿法在线训练神经网络的FPGA系统及实现方法。FPGA系统包括LS、GC、HU、NNE、CSC及PNG六大模块。实现方法包括1)分析拟牛顿法的c++代码，将算法划分为三个计算模块，通过编写Verilog，将每个计算模块实现为硬件块；2)根据神经网络的拓扑结构、训练方式和激励函数，通过编写Verilog确立神经网络评估模块NNE的硬件结构；3)基于32位线性移位寄存器实现随机数产生模块PNG；4)将FPGA片上存储器用作缓冲器以链接上述五个硬件模块，并存储中间的计算结果，采用有限状态机的形式安排上述五个模块的操作顺序及内存与相对应模块的数据传递；5)硬件设计进行性能测试。通过FPGA实现来提高神经网络训练的速度，满足神经网络在线训练的实时性要求。

主权项

基于拟牛顿法在线训练神经网络的FPGA系统，其特征在于，包括计算控制模块CSC、随机数产生模块PNG、线性搜索模块LS、梯度计算模块GC、矩阵更新模块HU和神经网络评估模块NNE六大模块；所述计算控制模块CSC采用有限状态机的形式来安排上述各模块的操作顺序及内存与相对应模块的数据传递；所述线性搜索模块LS、梯度计算模块GC、矩阵更新模块HU对应于拟牛顿优化算法的计算过程，神经网络评估模块NNE将被线性搜索模块LS调用；所述矩阵更新模块HU以BFGS方式更新矩阵并决定搜索方向，所述线性搜索模块LS采用黄金分割法在搜索方向上确定搜索步长，所述梯度计算模块GC完成目标函数梯度的计算，所述随机数产生模块PNG基于32位线性移位寄存器产生神经网络的初始权重值。