[发明专利]具有平衡求解器的深度神经网络

摘要

神经网络可以包括迭代函数(z[i+1]＝f(z[i]，θ，c(x))。在机器学习领域中，已知这种迭代函数可由具有互相共享的权重的层堆栈表示。如在本说明书中所描述的，在训练期间，可以通过使用数值求根算法来代替此层堆栈，以找到所述迭代函数的平衡，其中所述迭代函数的进一步执行基本上不会进一步改变所述迭代函数的输出。实际上，可以由数值平衡求解器(480)来代替所述层堆栈。使用所述数值求根算法被证明大大减少了训练期间的内存占用，同时实现了与最先进的现有技术模型类似的精确度。