[发明专利]用于二元神经网络的概率性训练

权利要求书

1.一种用于训练被至少部分地实现为二元神经网络（2）的人工神经网络（1）的方法（100），其中与至少一层（21-23）相关联的权重和至少一层（21-23）的输出两者只能具有两个可能值中的一个，所述方法（100）包括

● 接收（110）针对人工神经网络（1）或其一部分的输入x_i的训练输入值（11），

● 根据由人工神经网络（1）或其一部分定义的处理链来处理（120）训练输入值（11），其中权重由训练权重w_lj替代，从而获得输出值（12），

● 将损失函数（13）应用（130）于所获得的输出值（12），所述损失函数（13）被配置成在由训练输入值（11）标示的情形中对输出值（12）在人工神经网络（1）的意图应用的上下文中有多好进行评定；

● 更新（140）训练权重w_lj，并且往回分支（150）到处理（120），直到损失函数（13）进行的评定（13a）满足预定的终止标准（160）；以及

● 根据最终获得的训练权重w_lj来配置（170）实际人工神经网络（1，2），

其中处理（120）包括在处理链的至少一层中：

● 针对层（21-23）中的每个神经元l确定（121）预激活a_l的分布A_l，其中分布A₁是对该神经元1的全部输入x_j的加权总和，并且其中每个输入x_j利用权重w_lj的分布W_lj进行加权，使得分布W_lj取代训练权重w_lj；以及

● 通过将具有两个可能输出值的预定阈值化函数g应用于分布A₁，针对层（21-23）中的每个神经元1确定（122）输出值h_l的分布H_l。

2.根据权利要求1所述的方法（100），其中至少一个分布W_lj被挑选成是集合{-1，+1}中的值的伯努利式分布。

3.根据权利要求1所述的方法（100），其中分布A₁被建模为泊松二项分布，或者建模为具有均值μ_l和方差σ_l²的高斯分布。

4.根据权利要求3所述的方法（100），进一步包括：作为在A_l的加权总和计算（121）中求和的分布的均值和方差的总和而获得（121a）均值μ_l和方差σ_l²。

5.根据权利要求3至4中任一项所述的方法（100），其中输出值的分布H_l被挑选为是集合{-1，+1}中的值的伯努利式分布，其具有期望ξ_l，所述期望ξ_l由高斯分布的累积密度函数在值0处的值给出。

6.根据权利要求1至5中任一项所述的方法（100），进一步包括：针对层（21-23）中的至少一个神经元1从分布H_l对至少一个输出值h_l进行采样（123）。

7.根据权利要求1至6中任一项所述的方法（100），其中处理（120）进一步包括：在处理链的下一层（21-23）中的输入x_i的位置中使用（124）来自处理链的至少一层的输出h_l的至少一个分布H_l。

8.根据权利要求1至8中任一项所述的方法（100），其中配置（170）实际人工神经网络（1，2）包括：对于权重w_lj的每个最终获得的分布W_lj，采样（171）至少一个值w_lj，并且将其存储（172）在实际人工神经网络（1，2）的非易失性存储器中以用作对应的权重。