[发明专利]非线性激活函数、训练方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种非线性激活函数、训练方法、装置、电子设备及存储介质。其中，非线性激活函数，包括光电探测器、激光器及半导体光放大器；光电探测器与光学神经网络的上一层神经元及半导体光放大器连接，半导体光放大器与光学神经网络的下一层神经元、光电探测器以及激光器连接；光电探测器用于接收上一层神经元输出的目标信号，对目标信号进行处理，得到输出信号，并将输出信号传输至半导体光放大器；激光器用于向半导体光放大器发送光信号；半导体光放大器用于接收光电探测器发送的输出信号以及激光器发送的光信号，并将输出光信号发送至光学神经网络的下一层神经元。本发明实施例的方案，提升了光学神经网络的训练速度以及精度。

技术领域

本发明实施例涉及机器学习技术领域，尤其涉及一种非线性激活函数、训练方法、装置、电子设备及存储介质。

背景技术

激活函数，指的是在多层神经网络中，上层神经元的输出和下层神经元的输入存在一个函数关系，这个函数就是激活函数。引入激活函数可以提高神经网络模型的非线性拟合能力，增强模型的表达能力。如果不用激活函数，每一层节点的输入都是上一层的输出，那么无论神经网络的隐藏层有多少层，最后输出的结果都是原始输入的线性组合，即隐藏层没有发挥作用。因此，神经网络模型中引入非线性激活函数来执行更加有趣的函数计算。

深度学习和神经网络最近成为了非常有前途的替代计算平台，提高了人们对打破传统计算机中摩尔定律在计算效率方面的障碍的期望。利用数以百万计的基于电子的人工神经元与神经形态处理器，已经被证实具有巨大的效率。而光子可以克服传统电子布局的缺点，达到高达100GHz的工作频率，并且已经被证实可以执行光矩阵乘法。因此，光子在构建超快速和高效的光子深度学习处理平台方面具有相当大的潜力。然而，与神经网络中应用到的典型非线性激活函数相比，目前已经证明的光神经元非线性处理函数却是非常有限。

如何得到一种可以应用于光学神经网络的非线性函数，以提升光学神经网络的训练速度以及精度是业内研究的重点问题。

发明内容

本发明实施例提供了一种非线性激活函数、训练方法、装置、电子设备及存储介质，以应用于光学神经网络，提升了光学神经网络的训练速度以及精度。

根据本发明实施例的一方面，提供了一种非线性激活函数，应用于光学神经网络，所述非线性激活函数包括：光电探测器、激光器以及半导体光放大器；所述光电探测器分别与所述光学神经网络的上一层神经元以及所述半导体光放大器连接，所述半导体光放大器分别与所述光学神经网络的下一层神经元、所述光电探测器以及所述激光器连接；

所述光电探测器，用于接收所述上一层神经元输出的目标信号，对所述目标信号进行处理，得到输出信号，并将所述输出信号传输至所述半导体光放大器；

所述激光器，用于向所述半导体光放大器发送光信号；

所述半导体光放大器，用于接收所述光电探测器发送的输出信号以及所述激光器发送的光信号，根据所述输出信号以及所述光信号得到输出光信号，并将所述输出光信号发送至所述光学神经网络的下一层神经元。

根据本发明实施例的另一方面，提供了一种光学字符识别模型的训练方法，所述光学字符识别模型激活函数为如本发明实施例中任一实施例所述的非线性激活函数，所述方法包括：

将目标训练集输入至光学字符识别网络的第一输入层，得到第一光学输出结果，并将所述第一光学输出结果传输至所述非线性激活函数；

通过所述非线性激活函数对所述第一光学输出结果进行处理，得到激活结果，并将所述激活结果传输至所述光学字符识别网络的下一输入层；

继续执行将下一光学输出结果传输至所述非线性激活函数的操作，直至所述光学字符识别网络的最后一层。